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大 多 数 介绍 信息 论 、 编 码 和 密码 学 的 书 ， 不 是 太 过 数学 化 ， 就 是 太 注重 基础 。 本 书 避 免 了 上 述 
缺点 ， 既 考虑 到 数学 的 严谨 性 ， 又 充分 考虑 了 易 读 性 。 在 第 2 版 中 我 们 收录 了 许多 正在 产生 的 、 成 熟 
的 或 者 已 经 在 工业 标准 和 应 用 中 使 用 的 新 概念 和 新 想法 。 


本 书 特点 : 
e@ 数学 论证 后 面 都 接 有 信 源 编码 的 直观 解释 。 
9 笨 划 于 大 整 揭 知识 面 ， 包括 线性 分 组 码 、 循 环 码 、BCH 码 和 RS 码 等 。 
整 覆盖 卷 积 码 、Turbo 码 和 网 格 编码 调制 (TCM) : 
。 全 面 介绍 密 码 学 基础 、 公 钥 和 私 钥 加 密 、 当 前 的 加 密 标准 及 密码 学 最 新 趋势 。 


本 版 更 新 内 容 : 
@ 新 增 关 于 空 时 分 组 码 和 空 时 网 格 码 的 介绍 。 
e 在 Turbo 码 和 网 格 编码 方面 进行 了 内 容 扩展 。 
@ 新 增 内 容 有 


* 算术 编码 " Turbo 码 的 交织 器 设计 
“ MIMO 信道 “ 椭圆 曲线 密码 学 

. 低 密度 奇偶 校 验 (LDPC) 码 ， 量子 密码 学 
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信息 论 、 错 误 控 制 编码 和 密码 学 是 现代 数字 通信 系统 中 的 三 大 支柱 ， 本 书 用 有 限 的 篇 幅 将 三 者 中 所 
有 重要 的 概念 有 机 地 结合 起 来 ， 涉 及 信息 论 、 信 源 编码 、 信 道 编 码 和 密码 学 等 方面 的 知识 ， 不 仅 内 容 丰 
富 ， 而 且 技 术 深度 适当 。 

本 书 适 合作 为 高 等 院 校 信息 安全 、 电 子 工程 及 相关 专业 信息 论 和 编码 课程 的 教材 ， 从 事 相 关 工 作 的 
专业 技术 人 员 也 能 从 中 受益 。 
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文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规范 ， 使 西方 国家 在 自然 科学 的 
各 个 领域 取得 了 垄断 性 的 优势 ， 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 
家 华 出 、 独 领 风骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 
学 科 中 的 许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科学 著作 ， 不 仅 壁 
划 了 研究 的 范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 
因 年 月 的 流逝 而 减退 。 

近年 ， 在 全 球 信 息 化 大 讲 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅猛 ， 对 专业 人 才 的 需求 日 
益 迫 切 。 这 对 计算 机 教育 界 和 出 版 界 都 既是 机 遇 ， 也 是 挑战 ;而 专业 教材 的 建设 在 教育 战略 
上 显得 举足轻重 。 在 我 国信 息 技术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国 家 在 其 计算 机 科学 
发 展 的 几 十 年 间 积淀 和 发 展 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ，3 引 进 一 批 国外 优秀 计 
算 机 教材 将 对 我 国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真正 
的 世界 一 流 大 学 的 必由之路 。 

机 械 工 业 出 版 社 华章 公司 较 早 意识 到 “出 版 要 为 教育 服务 ”"。 自 1998 年 开始 ， 我 们 就 将 工 
作 重 点 放 在 了 六 选 、 移 译 国 外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson,，McGraw- 
Hill，Elsevier，MIT，John Wiley 太 Sons，Cengage 等 世界 著名 出 版 公司 建立 了 良好 的 合作 关 
系 ， 从 他 们 现 有 的 数 百 种 教材 中 甄选 出 Andrew S. Tanenbaum，Bjarne Stroustrup，Brain W. 
Kernighan, Dennis Ritchie, Jim Gray, Afred V. Aho, John E. Hopcroft，Jeffrey D. Ullman， 
Abraham Silberschatz, William Stallings, Donald E. Knuth, John L. Hennessy, Larry L. 
Peterson 等 大 师 名 家 的 一 批 经 典 作品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 究 
及 珍藏 。 大 理 石 纹理 的 封面 ， 也 正体 现 了 这 套 从 书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 鼎力 圳 助 ， 国 内 的 专家 不 仅 提供 了 中 
肯 的 选 题 指导 ， 还 不 辞 劳 苦 地 担任 了 翻译 和 审 校 的 工作 ， 而 原 书 的 作者 也 相当 关注 其 作品 在 
中 国 的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 ,“ 计 算 机 科学 丛书 ”已 经 出 版 了 近 两 百 
个 品种 ， 这 些 书 籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采 用 为 正式 教材 和 参考 书籍 。 
其 影印 版 “经 典 原版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 的 
图 书 有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完善 和 教材 改革 的 逐渐 深 
化 ， 教 育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 入 一 个 新 的 阶段 ， 我 们 的 目标 是 尽善尽美 ， 
而 反馈 的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公司 欢迎 老师 和 读者 对 我 们 的 工 
作 提 出 建议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 


华章 网 站 : www.hzbook.com 
电子 邮件 : hzjsj@hzbook.com 
联系 电话 ，(010) 88379604 
联系 地 址 ， 北 京 市 西城 区 百 万 庄 南 街 1 号 
邮政 编码 : 100037 华章 科技 图 书 出 版 中 心 








自从 Shannon 在 1948 年 发 表 了 一 篇 关于 通信 的 数学 理论 的 论文 之 后 ， 人 们 开始 了 对 信息 理 
论 的 系统 研究 。Shannon 在 第 二 年 〈 即 1949 年 ) 又 发 表 了 一 篇 关于 安全 系统 的 通信 理论 的 论文 ， 
于 是 文 引 发 了 对 信息 安全 的 系统 研究 。 现 代 信息 论 除 了 一 般 的 信息 理论 部 分 外 ， 它 的 重要 组 
成 部 分 还 包括 信 源 编码 、 信 道 编码 和 密码 学 。 这 些 部 分 既 有 信息 理论 上 的 描述 ， 又 有 它们 自 
己 独 特 的 设计 技术 和 方法 。 在 研究 上 ， 信 源 编 码 、 信 道 编码 和 密码 学 都 相对 较 独 立 ， 但 又 有 
不 少将 它们 相 结合 的 研究 。 因 此 ， 有 必要 对 这 些 内 容 进行 全 面 了 解 。 

目前 在 市 场 上 可 以 见 到 大 量 关于 信息 论 和 编码 方面 的 书 ， 也 有 许多 专门 研究 密码 和 信息 
安全 的 书 ,但 将 它们 融 为 一 体 的 书 却 不 多 见 。 有 些 书 的 内 容 过 于 庞杂 ， 对 需要 了 解 这 方面 知 
识 的 读者 来 说 不 够 简洁 易 懂 。Bose 的 这 本 书 用 较 短 的 篇 幅 禾 盖 了 信息 论 、 信 源 编码 、 信 道 编 
码 和 密码 学 部 分 ， 不 仅 覆 盖 面 超出 了 许多 大 部 头 的 书 ， 而 且 也 有 一 定 的 技术 深度 ， 即 使 这 方 
面 的 专家 读 起 来 也 不 乏味 。 这 种 精湛 的 概括 和 有 机 结合 是 本 书 的 主要 特色 ， 使 它 成 为 一 本 很 
好 的 简明 参考 书 。 因 此 我 们 组 织 翻 译 出 版 了 本 书 的 第 1 版 。 

随 着 信息 科学 持续 高 速 的 发 展 ， 作 为 信息 科学 领域 的 一 些 专著 文献 也 很 快 表现 出 与 最 新 
科技 发 展 的 差距 。 一 本 负责 任 的 科技 著作 应 该 随 所 涉及 领域 的 科学 技术 发 展 而 及 时 更 新 其 内 
容 。 本 书 作者 本 着 对 读者 负责 的 态度 ， 及 时 对 本 书 内 容 进行 了 更 新 ， 因 此 出 版 了 第 2 版 。 为 了 
让 读者 阅读 到 最 新 的 内 容 ， 我 们 也 相应 地 对 新 版 进行 了 翻译 。 

新 版 的 翻译 工作 是 在 第 1 版 翻译 工作 的 基础 上 进行 的 。 新 版 新 添加 内 容 和 更 新 内 容 的 翻译 
工作 主要 由 李 徽 完成 ， 武 传 坤 做 了 一 些 校对 工作 。 武 传 坤 将 校对 时 发 现 的 问题 反馈 给 李 微 ， 
李 徽 进行 修改 后 再 传 给 武 传 填 ， 这 样 的 校对 工作 反复 进行 了 4 次 ， 其 中 第 5 章 更 是 进行 了 多 次 
修改 。 即 便 如 此 ， 我 们 对 翻译 的 准确 性 仍 没有 完全 的 把 担 ， 欢 迎 读者 批评 指正 。 

最 后 感谢 机 械 工业 出 版 社 对 我 们 工作 的 信任 ， 和 希望 读者 喜欢 本 书 。 


第 2 版 前 言 





从 2002 年 本 书 英文 第 1 版 问世 以 及 随后 的 9 次 重印 中 ， 我 收 到 了 许多 热情 读者 的 来 信 以 及 
在 各 种 会 议 上 的 信息 反馈 。 他 们 给 了 我 很 大 的 鼓励 和 很 多 的 赞美 之 词 。 人 信息论、 编码 和 密码 
学 领域 正在 不 断 扩张 ， 并 且 在 过 去 的 六 年 里 ， 有 很 多 新 的 思想 产生 、 成 熟 ， 然 后 在 行业 标准 
和 应 用 中 采用 。 在 第 2 版 中 ， 我 们 收录 了 许多 新 的 知识 ， 这 能 帮助 那些 从 工科 学 院 毕业 的 学 生 
们 和 一 些 工程 师 们 更 快 更 有 效 地 学 习 这 些 知识 。 

新 版 共 添 加 了 14 个 小 节 、23 个 新 例子 以 及 48 个 新 练习 问题 。 增 加 这 些 内 容 的 目的 有 两 个 : 

(1) 可 以 更 加 完整 地 介绍 知识 。 这 样 的 内 容 有 : Shannon-Fano-Elias 编 码 、 算 术 编 码 、 随 
机 过 程 的 箭 率 、 马 尔 可 夫 链 的 箭 率 、 基 小 距离 的 界 、 截 短 循 环 码 、Reed-Solomon 编 码 器 详细 
的 硬件 实现 、Diffie-Hellman 密 钥 协 商 协议 等 。 

(2) 可 以 向 读者 介绍 当前 研究 趋势 一 一 那些 在 实际 系统 中 应 用 的 理论 。 这 样 的 内 容 有 : 多 
输入 多 输出 (MIMO) 信道 、MIMO 系 统 的 信道 容量 、 低 密度 奇偶 校 验 (LDPC) 码 、 空 时 码 、 
Turbo 码 的 交织 器 设计 、 量 子 密码 学 、 生 物 加 密 等 。 

本 书 的 读者 是 电机 工程 系 和 计算 机 科学 系 的 低 年 级 研究 生 和 高 年 级 本 科 生 。 同 样 ， 本 书 
也 可 以 为 那些 希望 开阔 知识 面 并 且 掌 担 新 技术 的 工程 师 们 提供 便利 。 

本 书 的 结构 非常 适合 作为 研究 生 阶 段 的 一 门 完整 课 。 如 果 针 对 高 年 级 本 科 生 ， 下 面 一 些 
章节 可 以 跳 过 ，1.11，1.13，2.7，2.8，3.14，3.15，4.11，5.8，5.9，5.10，6.13，7.7，7.8， 
7.9，8.13，8.14，8.15，8.16 和 8.17。 上 面 所 选择 的 章节 同样 可 以 作为 研究 机 构 为 业界 人 士 提 
供 短 期 培训 的 内 容 。 

下 面 是 新 版 中 增加 的 内 容 : 

第 1 章 : Shannon-Fano-Elias 编 码 、 算 术 编码 、 随 机 过 程 的 焕 率 和 马尔 可 夫 链 的 炉 率 。 

第 2 章 : 多 输入 多 输出 (MIMO) 信道 、MIMO 系 统 的 信道 容量 。 

第 3 章 : 低 密度 奇偶 校 验 (LDPC) 码 、 最 小 距离 的 界 、 空 时 分 组 码 。 

第 4 章 : 准 循环 码 和 截 短 循环 码 。 

第 5 章 ，Reed-Solomon 编 码 器 详细 的 硬件 实现 ， 实 信道 上 RS 码 性 能 。 

第 6 章 : Turbo 码 的 交织 器 设计 。 

第 7 章 : 空 时 格 码 。 

第 8 章 : 素数 、 复 杂 性 类 、 椭 圆 曲 线 密码 学 、Diffie-Hellman 密 钥 协 商 协议 、 量 子 密码 学 、 
生物 加 密 。 

所 有 建议 、 意 见 和 问题 都 欢迎 发 信 给 作者 ，E-mail 地 址 是 rbose@ee iitd.ac.in。 

祝 阅 读 愉 快 ! 


信息 论 、 错 误 控 制 编 码 和 密码 学 是 现代 数字 通信 系统 中 的 三 大 支柱 。 这 三 个 课题 都 很 大 ， 
而 且 针 对 其 中 的 任何 一 个 课题 ， 都 有 很 多 好 书 加 以 讨论 。 本 书 试图 用 有 限 的 篇 幅 将 信息 论 、 
错误 控制 编码 和 密码 学 中 所 有 重要 的 概念 有 机 地 结合 起 来 ， 而 不 需要 将 书写 得 很 厚 。 本 书 的 
意图 就 是 使 之 成 为 一 本 简洁 而 生动 的 书 。 

本 书 是 我 在 印度 理工 学 院 (Indian Institute of Technology, IIT) 教授 有 关 信 息 论 和 编码 的 
不 同 课题 的 成 果 。 在 写本 书 的 时 候 ， 我 必须 决定 数学 在 本 书 中 应 占 的 分 量 。 引 用 Richard W. 
Hamming 的 话 :“ 数 学 就 是 一 各 有趣 的 智力 运动 ， 但 它 不 应 该 挡住 获取 物理 过 程 中 合理 信息 的 
路 。 一 本 书 若 是 太 数 学 化 就 有 吓 倒 缺乏 强大 数学 功底 的 学 生 的 危险 。 另 一 方面 ， 如 果 需 要 把 
信息 论 和 错误 控制 编码 中 的 概念 学 到 一 定 深度 ， 那 么 数学 的 应 用 也 不 能 无 限度 地 减少 。 这 样 
一 来 ， 就 要 掌握 好 分 寸 。 我 在 本 书 中 努力 达到 极 好 的 折 中 : 只 有 在 非 用 不 可 的 时 候 才 用 到 数 
学 。 在 可 能 的 情况 下 都 用 直观 的 解释 。 我 也 相信 借助 实例 来 教学 是 很 有 效 的 方法 ， 因 此 ， 当 
引入 一 个 新 概念 时 ， 我 总 试图 给 出 至 少 一 个 例子 。 


如 何 阅读 本 书 


本 书 不 但 是 对 信息 论 、 编 码 和 密码 学 这 一 令 人 人 着迷 的 领域 的 生动 介绍 ， 而 且 还 涉及 相当 
有 深度 的 详细 内 容 。 全 书 共 分 三 个 逻辑 部 分 : 

第 一 部 分 : 信息 论 和 信 源 编码 

第 二 部 分 : 错误 控制 编码 (信道 编码 ) 

第 三 部 分 ; 安全 通信 编码 

第 一 部 分 包 插 两 章 一 一 第 1 章 讨论 信息 的 概念 及 其 有 效 的 表示 方式 。 信 息 的 有 效 表示 引起 
数据 压缩 。 本 章 还 介绍 了 游程 编码 的 概念 、 率 失真 函数 和 优化 量化 器 的 设计 。 本 章 最 后 简单 
介绍 了 图 像 压 缩 。 

第 2 章 讨 论 通信 信道 和 信道 容量 的 概念 。 本 章 试图 回答 这 样 的 问题 ， 给 定 一 个 已 知 带宽 和 信 
噪 比 的 信道 ， 该 信道 每 秒 可 传递 多 少 比 特 的 信息 昵 ?” 这 同时 也 提出 了 错误 控制 编码 的 必要 性。 

第 二 部 分 包括 五 章 内 容 ， 都 是 关于 错误 控制 编码 的 一 一 第 3 章 介 绍 线性 分 组 码 。 线 性 分 组 
码 是 很 有 实用 价值 、 指 导 性 强 而 且 简 单 的 一 类 码 。 我 们 将 讨论 这 类 码 的 编码 和 译 码 策略 ， 同 
时 还 将 介绍 完备 码 、 最 优 线性 码 和 最 大 距离 可 分 (MDS) 码 的 概念 。 

第 4 章 讨论 的 是 循环 码 ， 这 是 线性 分 组 码 的 子 类 。 循 环 码 对 纠正 突 发 性 错误 特别 有 用 。 
Fire 码 、Golay 码 和 循环 元 余 校 验 (CRC) 码 都 是 特殊 类 型 的 循环 码 ， 本 章 对 它们 也 进行 了 讨 
论 。 本 章 以 循环 码 的 电路 实现 结束 。 

第 $ 章 将 读者 带 到 BCH (Bose-Chaudhuri Hocquenghem) 码 的 世界 ， 这 是 一 类 可 纠正 多 个 
错误 的 功能 极 强 的 码 。 本 章 还 讨论 了 Reed-Solomon 码 一 一 BCH 码 的 子 类 。 

第 6 章 讨论 的 是 卷 积 码 ， 这 是 一 类 本 质 上 带 记 忆 的 码 。 本 章 将 介绍 网 格 码 的 概念 并 详细 讨 
论 维特 比 译 码 技术 。 还 探讨 了 一 些 已 知 的 好 卷 积 码 。 最 后 介绍 的 是 Trubo 码 ， 这 是 一 类 还 不 太 
旧 的 码 。 


VII 


第 7 章 讨 论 网 格 编码 调制 (TCM) ， 这 是 一 种 将 编码 和 调制 相 结合 的 方案 。 本 章 将 讨论 
TCM 的 编码 和 译 码 方法 。 读 者 将 学 到 如 何 为 加 性 高 斯 白 噪声 信道 (additive white Gaussian 
noise channel) 及 衰退 信道 设计 TCM 方案 。 

第 三 部 分 仅 包含 关于 密码 学 的 一 章 一 一 第 8 章 ， 将 介绍 编码 的 另 一 种 用 法 ， 即 在 安全 通信 
方面 的 编码 。 本 章 将 通过 实例 分 别 讨 论 保 密 密 钥 和 公 钥 加 密 技术 。 还 将 讨论 单 向 散 列 和 应 用 
浑 沌 函数 进行 加 密 等 其 他 技术 。 本 章 在 结尾 时 给 出 了 关于 密码 学 政治 因素 的 一 个 注解 。 

我 试图 在 所 有 需要 的 地 方 引 入 实例 。 每 章 在 结束 时 都 有 一 个 结论 性 的 评论 ， 包 含 描述 重 
要 结果 和 贡献 来 源 的 简单 历史 性 评注 。 每 章 最 后 还 有 一 个 简单 总 结 ， 可 作为 概括 性 参考 或 对 
某 一 特殊 公式 或 定义 的 快速 查找 工具 ， 也 可 直接 为 读者 考试 前 的 准备 增加 信心 。 每 章 后 面 的 
练习 题 能 帮助 读者 将 文中 讨论 的 概念 具体 化 。 每 章 后 面 还 加 进 了 基于 计算 机 的 练习 题 ， 建 议 
将 这 些 练习 题 变 成 学 习 本 课程 的 一 部 分 。 

我 尽 了 最 大 努力 使 书 中 没有 错误 ， 遗 憾 的 是 没有 一 种 简单 易 行 的 错误 控制 技术 。 我 试图 
包括 所 有 与 本 领域 有 关 的 重要 的 、 实 际 的 和 有 趣 的 概念 。 欢 迎 读者 将 发 现 的 错误 、 遗 漏 及 其 
他 建设 性 建议 发 送 到 rbose @ee iitd.ac .in。 

最 后 ， 我 引用 Blaise Pascal 的 话 作 结 ， 他 说 :“ 一 个 人 在 写 书 过程 中 了 解 到 的 最 后 一 件 事 
是 把 什么 内 容 作 为 开始 。” 
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第 l 章 信 源 编码 
并 不 是 我 们 注意 到 的 每 一 件 事 都 重要 ， 也 不 是 每 一 件 重 要 的 事 我 们 都 注意 到 了 。 
受 因 斯 坦 (1879 一 1955) 


1.1 信息 论 简介 z 

今天 ， 我 们 生活 在 信息 时 代 。 因 特 网 (Internet) 已 经 成 为 我 们 生活 中 不 可 缺少 的 一 部 分 ， 
这 使 得 太阳 系 第 三 大 行星 成 为 一 个 地 球 村 。 人 们 通过 手机 交谈 已 经 是 一 件 很 平常 的 事 。 电 影 
可 以 以 DVD 碟 片 的 形式 租 回 家 欣赏 。 名 片上 印 上 电子 邮箱 和 网 址 也 很 正常 。 许 多 人 宁愿 给 朋 
友 发 送 电子 邮件 和 电子 贺卡 而 不 去 发 普通 信件 。 股 票 行情 也 可 以 通过 手机 来 查看 。 . 

信息 已 成 为 成 功 的 关键 〈 它 一 直 是 成 功 的 关键 之 一 ， 但 在 今天 的 世界 上 它 是 最 关键 的 ) 。 在 
所 有 这 些 信 息 的 背后 ， 信 息 的 交换 却 依靠 小 小 的 1 和 0 〈 即 无 所 不 在 的 比特 )， 通 过 它们 一 个 接 一 
个 地 排 在 一 起 来 表达 信息 。 我 们 今天 所 生活 的 信息 时 代 的 存在 主要 归功 于 发 表 于 1948 年 的 一 篇 
精辟 的 论文 ， 这 篇 论文 为 奇妙 的 信息 论 莫 定 了 基础 。 信 息 论 的 创始 人 是 美国 电子 工程 师 Claude 
E. Shannon， 他 在 发 表 于 Bell System Technical Journal (1948) 的 论文 “The Mathematical Theory 
of Communication” (通信 的 数学 理论 ) 中 阐述 了 自己 的 思想 。 广 义 地 说 ,信息 包括 一 切 标准 通 
信 媒 体 的 内 容 ， 如 电报 、 电 话 、 无 线 电 、 电 视 以 及 来 自 电 子 计算 机 、 侗 服 机 械 装 置 系统 和 其 他 
数据 处 理 器 件 的 信号 。 该 理论 甚至 可 应 用 于 人 体 和 其 他 动物 神经 网 络 的 信号 。 

信息 论 最 关注 的 是 发 现 能 描述 为 通信 和 处 理 信息 而 设计 的 控制 系统 的 数学 定律 。 它 建立 
量化 指标 来 度量 信息 以 及 不 同系 统 在 传输 、 储 存 和 处 理 信息 时 的 容量 。 有 些 要 解决 的 问题 与 
发 现 最 好 的 使 用 各 种 已 有 通信 系统 的 方法 相关 ， 也 和 最 好 的 将 有 用 的 信息 或 信号 同 无 用 的 信 
息 或 噪声 分 开 的 方法 有 关 。 另 一 个 问题 就 是 对 给 定 的 信息 载体 (通常 称 为 信道 ) 给 出 容量 上 
界 。 尽 管 主要 是 通信 工程 师 对 那些 结果 感 兴趣 ， 但 有 些 概念 已 被 诸如 心理 学 和 语言 学 等 领域 
采用 并 发 现 它 们 很 有 用 。 

信息 论 的 界限 非常 模 灶 '。 这 种 理论 与 通信 理论 有 很 大 的 重生 部 分 ， 但 它 主 要 面向 信息 处 
理 和 通信 方面 的 基本 限制 ， 而 较 少 涉及 所 用 元 器 件 的 详细 运作 情况 。 

本 章 ， 我 们 将 首先 阐述 对 信息 的 直观 理解 。 然 后 用 数学 模型 来 描述 信息 源 以 及 对 信息 源 
所 发 出 的 信息 的 量化 度量 。 然 后 我 们 将 陈述 并 证 明 信 源 编码 定理 。 有 了 了 基本 的 数学 框架 之 后 ， 
我 们 将 介绍 四 种 信 源 编码 技术 ， 即 Huffman 编 码 、Shannon-Fano-Elias 编 码 、 算 术 
(Arithmetic) 编码 和 Lempel-Ziv 编 码 。 本 章 还 将 讨论 游程 编码 (Run Length Encoding)、 率 失 
真 函 数 (Rate Distortion Function) 和 优化 量化 器 (Optimum Quantizer) 。 为 了 说 明 相 关 的 随 . 
机 变量 ,我们 将 学 习 随 机 过 程 的 炉 率 。 本 章 后 面 介绍 图 像 压 缩 ， 它 是 信 源 编码 的 一 个 重要 应 
用 领域 。 特 别 是 ， 我 们 将 简单 讨论 JPEG (Joint Photographic Experts Group) 标准 。 


2 彩 一 闷 分 “信息论 和 售 源 轿 码 


1.2 不 确定 性 和 信息 


任何 信 源 ， 不 管 是 模拟 的 还 是 数字 的 ， 都 产生 本 质 上 随机 的 输出 。 假 若 不 是 随机 ， 即 我 
们 能 准确 地 知道 其 输出 ， 那 么 就 没 必要 传输 它 ! 信 源 存在 模拟 信 源 和 离散 信 源 两 种 。 我 们 生 
活 在 一 个 模拟 世界 里 ， 多 数 信 源 都 是 模拟 信 源 ， 例 如 语音 、 漫 度 波动 等 。 离 散 信 源 都 是 人 造 
的 信 源 ， 例 如 从 有 限 字 母 集中 产生 一 连 串 字母 (如 ， 写 电子 邮件 ) 的 信 源 (如 ， 人 )。 

在 进一步 介绍 信息 的 数学 度量 之 前 ， 让 我 们 先 找 一 下 直观 感觉 。 请 阅读 下 面 的 句子 ， 

(1) 明天 太阳 将 从 东边 升 起 。 

(2) 在 一 小 时 后 电话 会 响 。 

(3) 今年 冬天 德里 将 下 雪 。 

这 三 个 句子 带 有 不 同 量 的 信息 。 事 实 上 ， 第 一 个 句子 几乎 带 不 来 任何 信息 ， 因 为 每 个 人 
都 知道 太阳 从 东边 升 起 ， 也 就 是 说 这 件 事 再 次 发 生 的 概率 几乎 为 1 (N. Bohr 说 道 :“ 作 预言 是 
有 风险 的 ， 特 别 是 在 涉及 将 来 的 时 候 。”)。 第 二 个 句子 看 来 比 第 一 个 句子 带 来 更 多 的 信息 ， 因 
为 电话 可 能 响 ， 也 可 能 不 响 。 电 话 在 一 小 时 后 响 的 概率 是 有 限 的 (除非 维修 人 员 又 在 工作 ! )。 
最 后 一 个 句子 你 可 能 要 读 两 帝 ， 因 为 德里 从 来 没 下 过 雪 ， 因 此 德里 下 雪 的 概率 非常 低 。 有 趣 
的 是 ， 上 述 句子 所 携带 的 信息 量 与 句子 中 所 陈述 的 事件 发 生 的 概率 有 关 ， 而 且 我 们 也 观察 到 
相反 的 关系 。 第 一 个 句子 讲 的 是 发 生 概率 几乎 为 1 的 事件 ， 它 几乎 没 带 什么 信息 。 第 三 个 句子 
发 生 的 概率 很 低 ， 看 来 带 来 了 不 少 的 信息 。( 我 们 应 读 上 两 遍 以 确定 没 看 错 ! ) 另外 可 以 注意 
到 句子 的 长 度 与 所 携带 的 信息 量 无 关 。 事 实 上 ， 第 一 个 句子 最 长 但 所 携带 的 信息 量 最 少 。 

现在 我 们 将 建立 信息 的 数学 度量 。 


定义 1.1 考虑 可 能 输出 为 届 ，i= 1,2,…，,m 的 离散 随机 变量 X。 则 事件 X=xi 的 自信 息 (self- 
information) 定义 为 





T(x,) = rs| 元] = —log P(x,) (1-1) 
我 们 注意 到 高 概率 事件 没有 低 概 率 事件 所 携带 的 信息 多 。 对 于 P(x;) = 1 的 事件 ， 有 7(x) =0。 
因为 低 概 率 事件 意味 着 高 度 的 不 确定 性 (反之 亦 然 )， 具 有 高 度 不 确定 性 的 随机 变量 带 有 更 多 
的 信息 。 我 们 在 本 章 中 将 一 直 用 不 确定 性 和 信息 量 的 这 种 相关 性 作 自 然 解释 。 
1zi) 的 单位 取决 于 取 对 数 的 底数 ， 通 常 取 为 2 或 e。 当 以 2 为 底数 时 ， 单 位 为 比特 (bit)， 
而 当 以 e 为 底数 时 ， 单 位 为 泰 特 (nat， 自 然 单 位 )。 由 于 0<PGg 和 1， 故 fx) 关 0， 即 自信 息 是 
非 负 的 。 下 面 的 两 个 例子 说 明 为 什么 用 对 数 来 度量 信息 是 合适 的 。 








例 1.1 ”考虑 一 个 掷 硬 币 的 二 元 信 产 : 若 正面 (已 ) 出 现 则 输出 1， 若 反面 (7) 出 现 则 输 
出 0。 对 于 该 信 源 ， 有 P(1)=P(0)=0.5。 来 自 该 信 源 的 每 一 个 输出 所 含 的 信息 量 为 
GD) = — log2P(x)) 
= 一 log2P(0.53)=1 (bit) (1-2) 

事实 上 ， 我 们 只 能 用 1 比特 来 表示 来 自 这 个 二 元 信 源 的 输出 (例如 ， 我 们 用 1 代表 五 ， 用 0 
代表 7) 。 

现在 假定 从 该 二 元 信 源 连续 输出 是 统计 独立 的 ， 即 信 源 是 无 记忆 的 。 考 虑 一 个 bit 的 数 
组 ， 则 共有 2”" 个 可 能 的 m 比 特 组 ， 每 一 个 都 等 可 能 地 具有 概率 2"。 
一 个 m 比 特 组 的 自信 息 为 


采 1 赣 人 和信 源 编 码 了 
CC 
1x;) = — log,P(x)) 
= —l0g22 ”=m (bit) (1-3) 
同时 ， 我 们 也 注意 到 确实 需要 m 个 比特 来 表示 可 能 的 m 比 特 组 。 
因此 ， 当 信 源 的 一 些 输出 被 看 做 一 个 组 的 时 候 ， 这 种 信息 的 对 数 度 量具 有 所 期 望 的 可 加 性 。 


例 1.2 考虑 一 个 离散 无 记忆 信 源 (DMS) ( 信 源 C) ， 它 的 输出 为 每 次 两 个 比特 。 该 信 源 

由 例 1.1 中 提 到 的 两 个 二 元 信 源 (信和 源 4 和 B8) 构成 ， 每 个 信 源 贡献 一 个 比特 。 信 源 C 中 的 这 两 

个 二 元 信 源 是 独立 的 。 从 直觉 上 看 ， 组 合 信 源 ( 信 源 C) 的 信息 量 应 该 是 组 成 该 信 源 的 两 个 独 

立信 源 的 输出 所 含 信息 之 和 。 让 我 们 分 析 一 下 信 源 C 的 输出 所 含 的 信息 量 。 有 四 种 可 能 的 情况 

{00，01，10，11}， 每 种 情况 都 具有 概率 P(C) = P(4)P(B)=(0.5) x (0.5)=0.25， 这 是 因为 信 源 
4 和 8 是 独立 的 。 信 源 C 的 每 个 输出 所 含 的 信息 量 为 : 

7C)= 一 log2P(Oo) 
= 一 Iog2P(0.25)=2 (bit) (1-4) 


我 们 不 得 不 用 两 比特 来 表示 这 个 组 合 二 元 信 源 的 输出 。 





因此 ， 信 息 的 对 数 度 量 对 独立 事件 具有 可 加 性 。 
下 面 考虑 两 个 离散 随机 变量 X 和 Y， 其 可 能 的 输出 分 别 为 x;,，i=1, 2,…, n 和 y,, j=1, 2,…， 
m。 假 设 我 们 观察 到 输出 Y=y,， 想 由 此 确定 该 事件 所 提供 的 关于 事件 X=x;，i= 1, 2,…, n 的 信 
息 量 ， 也 就 是 说 我 们 想 用 数学 方式 表示 出 它们 的 互信 息 。 我 们 注意 到 两 种 极端 的 情况 ， 
(1) X 和 了 独立 ， 在 此 情况 下 ，Y=y 的 出 现 不 提供 任何 X=x 的 信息 。 
(2) X 和 7 为 完全 依赖 的 事件 ， 在 此 情况 下 ，7= y 的 出 现 决定 了 X= xz 的 出 现 。 
水 足 此 条 件 的 一 种 合适 的 度量 是 对 条 件 概率 
P(X=x|Y=y) = PGily) (1-5) 
除 以 柏 率 
P(X=x) = P(x) (1-6) 
所 得 的 商 取 对 数 。 
定义 1 .2 定义 Xi， 之 间 的 互信 息 !(xi; 功 为 





T(xs 月 一 os( Plx,) 


同 前 面 一 样 ，7(z) 的 单位 取决 于 取 对 数 的 底数 ， 通 常 为 2 或 e。 当 底数 为 2 时 ， 单 位 为 比特 。 
注意 


(1-8) 








P(x) P(xi)P(y) PP Ply,;) 
因此 
lxs ») = os( ey | = oe 2 =1y; (1-9) 
i J 


对 J 二 1Q; Xi) 的 自然 解释 如 下 : 事件 Y=y 的 出 现 所 提供 的 关于 XX 的 信息 完全 等 同 于 事 
件 X=x 的 出 现 所 提供 的 关于 了 =y, 的 信息 。 


4 党 一 序 分 信息 论 和 俯 涯 编码 


现在 让 我 们 查看 两 种 极端 情况 : 
(1) 当 随 机 变量 XX 与 统计 独立 时 ， 有 P(xily)) = P(x)， 它 导致 I[(xi; =0, 
(2) 当 事 件 7=y 的 出 现 惟一 决定 事件 X= 的 出 现时 ， 有 P(xily) =1， 从 而 互信 息 为 
Tx 1 = ol = -log P(xi) (1-10) 
这 就 是 事件 X=x 的 自信 息 。 
因此 ， 互 信息 的 对 数 定义 确认 了 我 们 的 直觉 。 





例 1.3 考虑 图 1-1 所 示 的 二 元 对 称 信道 (BSC)。 这 是 一 种 从 发 射 端 (Tx) 到 接收 端 (Rx) 
传递 许多 1 和 0 的 信道 。 它 偶尔 以 概率 p 发 生 错误 。 一 


1 一 
个 BSC 会 把 1] 变 为 0， 也 以 同样 概率 把 0 变 为 1。 令 随 。， 0 
机 变量 X 和 分 别 表示 该 BSC 的 输入 和 输出 ， 并 设 输 。 Re 
和信 符号 等 可 能 地 出 现 , 而 且 输 出 符号 根据 下 面 的 信 Pp 
道 转移 概率 依赖 于 输入 : ， 1-p 1 
P(Y=0|X=0)=1—p 信道 
P(Y=0|X=1)=p 图 1-1 一 个 二 元 对 称 信道 


P(Y=1|/X=1)=1-—p 
P(Y=1|X=0)=p 
这 说 明 在 该 BSC 中 传输 时 ， 数 字 发 生 转 变 〈 即 出 错 ) 的 概率 为 p。 从 这 些 信道 转移 概率 中 
我 们 得 到 
P(Y=0)= P(X=0) x P(Y=01X=0)+ P(X=1)xP(Y=01X=1) 
=0.5(1—p)+0.5(p) = 0.5 
P(Y=1)=P(X=0)x P(Y=1IX=0)+ P(X=1)x P(Y=11X=1) 
=0.5(p) + 0.5(1 — p) = 0.5 
假定 我 们 在 接收 端 根据 接收 到 的 信号 想 确 定 从 发 送 端 发 送 的 是 什么 。 在 给 定 了 = 0 的 情况 
下 ,关于 事件 X=0 发 生 的 互信 息 为 
T(xo; yo) = 1(0; 0) = log2 (0 0 2] = log, 并] = log22(] — p) 
类 似 地 ， 


P(Y=01X=1 : 


下 面 我 们 考虑 一 些 特殊 情况 。 
假定 p=0， 即 为 理想 信道 (无 噪声 ) ， 则 
To; yo0)=70; 0)=1log 2(1 ~p)=1 (bit) 
因此 ， 从 输出 我 们 可 以 确定 所 传送 的 是 什么 。 回 想 一 下 事件 X=x 的 自信 息 也 是 1bit。 
但 是 ， 若 p =0.5， 我 们 得 到 
Txo; y0) = 1(0; 0)=10g, 2(1 —p)=10g, 2(0.5)=0 
很 明显 ， 从 输出 我 们 得 不 到 关于 发 送 的 是 什么 的 任何 信息 。 因 此 ,这 是 个 无 用 信道 。 对 于 
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人 
这 样 的 一 个 信道 ， 我 们 可 以 在 接收 端 用 掷 硬 币 的 方法 来 确定 发 送 的 是 什么 。 

假设 我 们 有 一 个 p=0.1 的 信道 ， 则 
T(xo; y0) = 1(0; 0)=10g; 2(1 —p)=10g; 2(0.9) =0.848 (bit) 
例 1.4 令 X 和 7 为 表示 图 1-2 所 示 的 二 元 信道 的 输入 和 输出 的 二 元 随机 变量 。 假 定 输 入 的 符 
号 等 可 能 地 选取 ， 而且 输出 符号 根据 下 面 的 信 1- po 
道 转移 概率 依赖 于 输出 : 0 访 0 








pi 
P(Y=0lX=0)=1- po 因 pe 
P(Y=0|X=1)=p, po 
P(Y=1|X=1)=1-p 1 i 全 | 
P(Y=1|X=0)= po 
由 信道 转移 概率 我 们 得 到 图 1-2 一 个 非 对 称 概率 的 一 元 信道 


P(7=0)=PX=0.PY=0IX=0O+PX=IPL=0OIX= 1 
= 0.5(1 — po) + 0.5p1) = 0.5(1 ~ po + pi) 

P(Y=1)= P(X=0).P(Y=11X=0)+ P(X=1).P(Y=1IX=1) 
=0.5(po) + 0.5(1 - Pi) = 0.5(1 ~ pi + po) 


假设 我 们 在 接收 端 想 根据 所 收 到 的 信号 来 确定 在 发 送 端 发 送 的 是 什么 。 在 给 定 y= 0 的 情 
况 下 ， 关 于 事件 X= 0 发 生 的 互信 息 为 
_ Ox _ 201 — 
Go; y0) = 10; 0) = log, ( 0 ” ) = log, | oa- Py ) = log, ( po 人 ) 
类 似 地 ， 


P(Y = OIX=1 2 
nd A Woon ( -1om (1) 








定义 1.3 定义 在 给 定 了 = y 的 情况 下 , 事件 X=x 的 条 件 自信 息 (conditional self information) 
为 


Zi 芭 = og 7 一 -log Bxi|») (1-11) 
a) 


由 此 ， 我 们 可 以 写 为 


Txs ») = Tx ~ Tx; | ») (1-12) 
条 件 自信 息 可 解释 为 在 事件 Y=y 的 基础 上 关于 事件 多 =X 的 自信 息 。 回 顾 上 述 结论 1(X) 之 0 及 
Ixiy) >0, 因此 ， 当 I(x) < ICxily) 时 ， 有 Ix; yD<0， 而 当 FxD)>Kxcly 时 ， 有 I(xi; y)>0。 因 
此 ， 互 信息 可 为 正 、 负 或 0。 





例 1.5 考虑 例 1.3 中 的 BSC。 互 信息 71(xo; yo) 关于 错误 概率 p 的 对 应 平面 图 如 图 1-3 所 示 。 
从 图 1-3 可 以 看 出 ， 当 p>0.5 时 ，Z(xo; yo) 为 负 值 。 对 此 的 自然 解释 为 : 一 个 负 值 互信 息 表 
明 我 们 在 观察 到 了 = yo 有 时， 应 避免 选取 X=xo 作 为 发 送 的 比特 。 
对 p=0.1， 
(xi y1) = 17100; 1)= 10g; 2(p) = 10g, 2(0.1) = 一 2.322 (bit) 
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这 表明 对 p =0.1， 事 件 X=xo 和 Y=y 之 间 的 互信 息 为 负 值 。 对 p= 1 时 的 极端 情况 ， 我 们 有 
Txo; y1)= 1(0: 1) = log, 2(p)=10g, 2(1)=1 (bit) 
冒 道 总 是 把 0 变 成 1， 反 过 来 也 如 此 (因为 p= 1)。 这 表明 车 在 接收 端 观 察 到 y,， 则 可 以 下 结论 
说 xo 是 实际 被 发 送 的 。 这 实际 是 个 有 着 100% 比 特 错 误 率 的 有 用 信道 ! 我 们 仅 需 把 收 到 的 比特 
反 过 来 就 行 了 。 
1xo: yo) 1 -一 一 


0.5 
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0 01 02 03 04 05 06 07 08 09 1 
图 1-3 互信 息 1(xo; yo) 关于 错误 概率 p 的 对 应 平面 图 





1.3 平均 互信 息 和 灶 


到 现在 为 止 ， 我 们 已 经 学 习 了 与 事件 对 x 和 yy 相 联 系 的 互信 息 ， 它 们 是 两 个 随机 变量 X 和 Y 
的 可 能 输出 。 我 们 现在 想 找到 这 两 个 随机 变量 之 间 的 平均 互信 息 。 这 可 以 通过 对 1(xi; y) 以 相 
联 事件 的 出 现 概率 加 权 ， 然 后 对 所 有 这 些 相 联 事 件 求 和 得 到 。 


定义 1.4 两 个 随机 变量 X 和 7 了 的 平均 互信 息 为 


L(x; -> Yr IN )- Ye Door 二 
il jl :=[ j= (1 -1 3) 
nm | 
二 >》 Pi)P(O | Xi )og i 
问 各 Py) 





m | 
= 了 和》 POyi)P(xily;)log PCily) 
j=1 i=1 P(x;) 


对 于 X 与 7 统计 独立 的 情况 ， 有 7(X; 7) 二 0， 即 X 和 7Y 之 间 没 有 平均 互信 息 。 平 均 互信 息 的 一 个 重 
要 性 质 是 1(X; 办 关 0， 其 中 当 且 仅 当 与 了 统计 独立 时 ， 等 号 成 立 。 
定义 1.5 随机 变量 X 的 平均 自信 息 定义 为 


= VP )7(5) = 一 SPGd og POs) (1-14) 


i=]1 
其 中 XX 代表 信 源 可 能 输出 的 字母 符号 ，H(X) 代 表 每 个 信 源 字母 的 平均 信息 。 在 此 情况 下 ， 我 们 


称 H(X) 为 炳 (entropy) 。X 的 炳 可 以 表示 为 log (sg 的 期 望 值 。 术 语 精 取 自 统计 力学 ， 在 该 学 
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科 中 它 用 来 表示 一 个 系统 的 无 序 程度 ， 
我 们 可 以 看 出 ,0<P0)<1， eg 7] > 那么 HOCOO>0。 





例 1.6 考虑 一 个 产生 统计 独立 的 符号 序列 的 离散 二 元 信 源 ， 其 输出 为 0 的 概率 为 p， 输 出 为 1 
的 概率 为 1 ~p。 该 二 元 信 源 的 炳 为 : 


1 
HO) = -2 P(xi)log P(xi) = ~ plogzs(p) ~ (1— p) log, (1— p) (1-15) 
i=0 


该 二 元 炳 函数 相对 于 p 的 平面 图 如 图 1-4 所 示 。 














图 1-4 二 元 粹 函数 HX)= ~plogs(p) 一 (] 一 p)logs(1 一 p) 


从 图 中 我 们 观察 到 该 二 元 料 数 在 p=0.5 时 ， 即 当 0 和 1 出 现 机 率 相 同时 达到 最 大 值 。 一 
般 情 况 下 可 以 证 明 ， 一 个 离散 信 源 在 其 字母 出 现 概率 相同 时 ， 燃 的 值 达到 最 大 。 

例 1.7 考虑 使 用 字母 {A, B, …, Z} 的 英文 语言 。 如 果 每 一 个 字母 出 现 的 概率 一 样 ， 并 且 
相互 独立 ， 则 每 一 个 字 苹 的 燃 是 log，26 = 4.70。 这 是 一 个 绝对 上 界 。 但 是 我 们 知道 所 有 字母 并 
不 是 以 相同 概率 出 现 的 。 如 果 我 们 考虑 不 同 字母 出 现 概率 不 同 的 情况 (正常 的 字母 出 现 频率 )， 
每 一 个 字母 的 炉 有 是 

Hi < H(X) ~ 4.14 (bit) (1-16) 


这 仍然 是 一 个 高 估 值 ， 因 为 字母 的 出 现 概率 不 是 相互 独立 的 。 例 如 ，Q 后 面 经 常 跟着 U， 双 字 
母 组 TH 经 常 出 现 。 因 此 ， 通 过 把 双 字 母 组 出 现 的 情况 考虑 进来 ， 我 们 可 以 得 到 对 焕 的 一 个 更 
好 的 估计 值 。 如 果 总 表示 英语 中 双 字 母 组 的 随机 变量 ， 则 及 的 上 界 可 以 精确 为 


H,< HX) ~ 3.56 (bi (1-17) 
这 种 方法 可 以 扩展 到 n 字 母 组 的 情况 。 因 此 ， 英 文 语言 的 糯 可 以 定义 为 
H, -lim (1-18) 
虽然 很 难 确定 H 的 准确 值 ， 但 统计 分 析 表 明 ， 对 英语 来 说 ， 
1<H,<1.5 (bit) (1-19) 


因此 ， 每 个 英语 字母 最 多 只 有 1.5bit 的 信息 。 我 们 假设 ~ 1.25bit。 因 此 英语 的 元 余 度 是 
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H, 1.25 
R =1- =]-— -0.75 . 
2 log, 26 4.70 (1-20) 


这 就 表明 ， 理 论 上 ， 英 文 文章 可 以 无 损耗 地 压缩 为 其 原来 长 度 的 四 分 之 一 。 有 趣 的 是 ， 世 界 
上 大 部 分 自然 语言 都 有 相似 的 元 余 度 。 

我 们 简要 地 分 析 英 语 口 语 的 元 余 度 。 假 设 一 个 平常 人 平均 每 分 钟 说 60 个 单词 ， 每 个 单词 
平均 长 度 是 6 个 字母 。 每 秒 所 说 的 字母 平均 是 6 个 。 假 设 每 个 字母 带 有 1.25bit 的 信息 ， 那 么 一 
个 平常 人 说 话 的 信息 率 是 7.5bit/s。 如 果 每 个 字母 用 5bit 来 表示 ， 那 么 正常 人 说 话 的 比特 率 是 
30bits。 但 是 ， 一 般 说 话 所 要 求 的 数据 率 是 32Kbit/s 。 








定义 1.6 平均 条 件 自信 息 又 称 作 条 件 炉 ， 定 义 为 


HX|Y)= P(x;, y; )lo, 
| 2 »)log RD 


(1-21) 


对 该 定义 的 自然 解释 如 下 : 互 (X|I 六 是 在 观察 到 了 的 情况 下 ，X 中 的 信息 (或 不 确定 性 )。 根 据 
H(XIY) 和 H(Y|X) 的 定义 ， 我 们 可 以 写 为 
1% 7Y)= HX - HAXIY = H(Y)- H(YIX) (1-22) 
我 们 观察 到 下 面 的 结论 : 
(1) 因为 1(X; 站 >0， 这 表明 H(X) 之 HX|Y)。 
(2) I(X; 站 =0 的 情况 表明 妨 (X)= H(X| 了 )， 并 且 当 且 仅 当 久 和 了 Y 统 计 独 立时 这 种 情况 才 可 能 
发 生 。 
(3) 由 于 H(X|IY) 是 在 7 给 定 的 情况 下 关于 XX 的 平均 不 确定 性 (信息 )， 并 且 H(X) 是 X 的 平均 
不 确定 性 (自信 息 )， 因 此 1(X; 站 是 在 观察 到 了 的 情况 下 关于 X 的 平均 不 确定 性 (互信 息 )。 
(4) 因为 H(X) 宇 H(XIY)， 对 了 的 观察 结果 不 增加 炳 (不 确定 性 ) ， 只 能 降低 粒 。 也 就 是 说 ， 
观察 7 不 会 降低 关于 X 的 信息 ， 它 只 能 增加 这 种 信息 
定义 1.7 一 对 联合 概率 分 布 是 p(x， 的 离散 随机 变量 (X， 的 联合 烂 定义 为 : 
HOC Y) = - B,D px, y) log p(xi, y) (1-23) 
i=1 j=1 


通过 使 用 甩 (X)、H(X, 门 和 H(XIY) 的 数学 定义 ， 我们 有 下 面 的 规则 : 


H(X, Y) = H(X) + H(YIX) =H(Y) + H(XIY) (1-24) we 
从 (1-22) 和 (1-24) 可 以 得 出 
TX; = H(X) + HOD— H(X, Y) (1-25) dH 
最 后 ， 我 们 注意 到 | 
1X; X) = HOO—H(XIX) =H(X) (1-26) 
这 就 解释 了 为 什么 在 定义 1.5 中 平均 自信 息 也 
被 称 为 精 。 精 和 互信 息 之 间 的 关系 可 以 用 Venn 图 图 1-5 焙 与 互信 息 之 间 的 关系 


来 表示 ， 如 图 1-S 所 示 。 





例 1.8 ”考虑 例 1.3 中 讨论 的 BSC。 假 设 输 入 符号 是 “0” 的 概率 为 9， 是 “1” 的 概率 为 1 一 9， 
如 图 1-6 所 示 。 
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该 二 元 信 源 的 炳 为 


1 
HO) = -2 Plxi)log P(x;)=~qglog2(q)— (1— gq)log, (1 ~ g) 
{=0Q 











概率 
9 
Tx 
1-9 
信道 
图 1-6 一 个 输入 符号 概率 为 9 和 1 一 4 的 二 元 对 称 信道 (BSC) 
条 件 灶 则 由 下 式 给 出 
AD = > Po one (1-27) 
为 了 计算 H(XIY) 的 值 ， 我 们 用 到 下 列 等 式 
Plxs »)) = Pil7)POD) = PO; | x;) Po) (1-28) 


H(X|Y) 相对 gq 的 平面 图 由 图 1-7 给 出 ， 其 中 p 是 个 参数 。 

平均 互信 息 I(X; 妃 在 图 1-8 中 给 出 。 从 平面 图 中 可 以 看 出 ， 当 参数 p 的 值 从 0 增加 到 0.5 时 ， 
LX; 站) 在 递减 。 这 直观 地 表明 ， 当 信道 的 可 靠 性 下 降 (增加 p <0.5 的 值 ) 时 ， 随 机 变量 X (在 
发 送 端 ) 与 随机 变量 了 (在 接收 端 ) 的 互信 息 减 少 。 


HI LO;Y) 
1 1 





























图 1-7 条 件 焙 ID 相对 g 的 平面 图 图 1-8 平均 互信 息 1X; 7) 相对 4 的 平面 图 





1.4 连续 随机 变量 的 信息 度量 


对 离散 随机 变量 的 互信 息 的 定义 可 以 直接 推广 到 连续 随机 变量 。 设 X 和 7 了 是 两 个 随机 变量 ， 
它们 的 联合 概率 密度 函数 (pdf) 为 p(x, y)， 边 界 pdf 为 p(x) 和 p(y)。X 和 Y 的 平均 互信 息 由 下 列 
定义 给 出 。 


定义 1.8 两 个 连续 随机 变量 X 和 了 之 间 的 平均 互信 息 定义 为 


p(ylx)p(x) dxdy 


;= Ix)1 
1&7)= | | ppOlx)log Dp) 


一 mo 一 吧 


(1-29) 
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应 该 指出 的 是 ， 平 均 互 信息 的 定义 可 以 从 离散 随机 变量 到 连续 随机 变量 ， 但 其 概念 和 自 
然 解 释 却 不 能 。 原 因 是 连续 随机 变量 所 带 的 信息 量 实际 上 是 无 限 的 ， 我 们 需要 用 无 限 比 特 才 
能 精确 表示 一 个 连续 随机 变量 。 自 信息 箭 因此 也 是 无 限 的 。 为 了 解决 这 个 问题 ， 我 们 定义 
一 个 叫 微分 炉 (differential entropy) 的 量 。 


定义 1.9 连续 随机 变量 X 和 7 的 微分 炉 定 义 为 : 

A(X)=— [p(x)logp(x) dx (1-30) 
再 一 次 强调 ， 上 述 定 义 的 量 没 有 自然 意义 。 我 们 将 进一步 推广 这 个 定义 。 
定义 1.10 连续 随机 变量 X 和 Y 的 平均 条 件 箭 定义 为 


Tx 


nxlY) =-f fpx,y) og px1y) dxdy (1-31) 


平均 互信 息 可 以 表示 为 
ICX; Y) = KX) — (XIY) = nA(Y) - KY 1X) (1-32) 


1.5 信 源 编码 定理 


在 本 节 中 我 们 将 探索 一 个 信 源 所 产生 的 符号 的 有 效 表示 (有 效 编码 )， 基 本 目的 就 是 通过 对 符 
号 的 有 效 表示 进行 数据 压缩 。 假 设 一 个 离散 无 记忆 信 源 (DMS) 每 秒 输出 一 个 符号 ， 每 个 符号 都 
是 从 有 限 符号 集合 Xx，i= 1,2,…,L 以 概率 PO)，i==1,2,…,L 出 现 。 该 DMS 每 个 符号 的 炳 为 


= -之 Pt )logs P(x) <logs L (1-33) 


当 所 有 符号 等 可 能 出 现时 ， 上 上 述 等 时 成 立 。 这 说 明 平 均 每 个 信 源 符号 的 比特 数 是 H(X)， 因 而 
信 源 输出 率 为 H(X)/t bit/s。 
现在 让 我 们 用 比特 表示 英语 字母 表 中 的 26 个 字母 。 我 们 注意 到 2”= 32>26， 因 此 每 个 字 
母 可 以 惟一 地 用 5bit 来 表示 。 这 就 是 定 长 编码 (FLC) 的 一 个 例子 。 每 个 字母 对 应 一 个 Sbit 长 
的 码 字 。 
定义 1.11 一 个 编码 就 是 所 有 码 字 的 集合 。 
假设 一 个 DMS 信 源 发 出 的 符号 是 从 一 个 有 限 符号 集合 x;，i=1, 2. …, 工 中 选取 的 。 当 工 是 2 
的 咽 时 ， 惟 一 编码 需要 的 比特 数 R 为 
R=log, L (1-34) 
而 当 Z 不 是 2 的 寡 时 ， 有 
一 [log; 了 | 二 1 (1-35) 
正如 我 们 前 面 所 观察 到 的 ， 要 对 英语 字母 表 中 的 字母 进行 编码 ,需要 R= |log: 26|+1= 5bit。 
对 英语 字母 表 的 FLC 说 明 字母 表 中 的 每 个 字母 都 (可能) 同等 重要 ， 因 此 ， 每 一 个 都 需要 Sbit 来 
表示 。 但 是 ， 我 们 知道 某 些 字母 没 那 么 常用 (如 x、q、z 等 )， 而 另外 一 些 则 被 更 频繁 地 用 到 (如 
s、t、e 等 )。 看 来 用 同样 的 比特 数 来 表示 经 常用 到 的 字母 和 不 常用 的 字母 ， 这 并 不 是 一 种 有 效 的 
表示 (编码) 方法。 直观 上 ， 我 们 应 该 用 少量 的 比特 数 来 表示 经 常用 到 的 字母 ， 用 多 一 些 的 比特 
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数 来 表示 不 经 常用 到 的 字母 。 用 这 种 方式 ， 如 果 我 们 要 对 一 整 页 文字 进行 编码 ， 可 能 会 在 总 体 上 
用 到 较 少 的 比特 数 。 当 信 源 符号 不 是 等 可 能 地 出 现时 ， 更 有 效 的 方法 是 变 长 编码 (VLC) 。 





例 1.9 假设 在 我 们 的 词汇 表 中 只 有 英语 字母 表 中 的 前 8 个 字母 (A 一 H)。 对 这 个 字母 集合 的 
定 长 编码 (FLC) 为 





定 长 编码 
对 同样 字母 集合 的 变 长 编码 (VLC) 可 以 是 





变 长 编码 1 
假设 我 们 要 对 一 系列 字母 “A BAD CAB” 进 行 编码 ， 则 对 这 个 句子 的 定 长 和 变 长 表示 为 


可 注意 到 变 长 编码 用 了 较 少 的 比特 数 ， 只 是 因为 在 句子 中 出 现 频率 较 高 的 字母 用 了 较 少 的 比 
特 数 来 表示 。 
我 们 再 来 看 一 下 对 英语 字母 表 中 前 8 个 字母 的 另 一 种 VLC: 





变 长 编码 2 
这 第 二 种 变 长 编码 在 字母 的 表示 方面 表现 出 更 高 的 效率 。 


00 010 00 100 011 00 010 总 比特 数 = 18 


0 1001 0001 总 比特 数 =9 


但 YLC2 有 一 个 问题 。 考 虑 这 里 的 比特 序列 0 1001 0001， 它 是 用 来 表示 “A BAD CAB” 
的 。 我 们 可 以 将 这 些 比特 用 另 一 种 方式 重新 分 组 为 [0] [10][0]1[1] [0J[0][01]， 它 被 翻译 成 A 
EAB AAD， 或 [0] [1][0][0J[1] [olIO]LOIII， 它 代表 A BAAB AAAB! 显然 惟一 译 码 有 问题 。 
因为 码 字 的 长 度 是 变化 的 ， 我 们 不 知道 哪里 是 一 个 码 字 (符号 ) 的 结束 ， 哪 里 是 下 一 个 码 字 
(符号 ) 的 开始 。 但 YLC1 不 存在 这 个 问题 ， 这 里 没有 一 个 码 字 构成 另 一 个 码 字 的 前 绥 。 这 叫 
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做 前 缀 条 件 (prefix condition)。 一 旦 检测 到 一 个 比特 序列 对 应 可 能 码 字 中 的 某 一 个 ， 我 们 就 
做 译 码 判 决 。 这 种 码 称 为 即时 码 (instantaneous code) ， 并 不 造成 译 码 延迟 。 如 果 人 允许 译 码 延 
巡 ， 我 们 可 以 使 用 译 码 字 符 只 能 由 一 个 可 能 输入 字符 产生 的 惟一 可 译 码 (uniquely decodable 
code)。 在 这 个 例子 中 ，VLC2 不 是 惟一 可 译 码 的 ， 因 此 无 实用 价值 。VLC1 是 惟一 可 译 码 的 ， 
尽管 在 每 个 符号 所 占 的 比特 数 方面 不 是 很 经 济 。 





定义 1.12 前 缀 码 是 一 种 没有 一 个 码 字 构成 另 一 码 字 的 前 缓 的 码 。 这 种 码 又 称 为 即时 码 。 


我 们 现在 设计 一 种 系统 方法 来 构造 惟一 可 译 码 的 变 长 码 ， 使 其 在 每 个 信 源 字母 平均 所 占 
的 比特 数 方面 是 高 效 的 。 设 信 源 的 输出 符号 都 来 自 于 一 个 有 限 符号 集合 zi= 1, 2,…,L， 其 出 
现 的 概率 为 P(x),i= 1,2,…,L。 每 个 信 源 字母 平均 所 占用 的 比特 数 为 


_ 1 
R= YnPx,) (1-36) 
i=1 


其 中 ni 是 符号 x 所 对 应 码 字 的 长 度 (比特 数 )。 


定理 1.1 (Kraft 不 等 式 ) 硝 在 码 字 长 度 为 ni 所 ny 所 … 帮 1 的 二 元 码 的 充分 必要 条 件 是 满足 
前 级 条 件 
L 
2-% <1l (1-37) 
k=1 
证 明 首先 证 明 充 分 性 。 考 处 阶 数 (深度 ) 为 n= 二 1 的 二 又 树 。 这 个 树 有 2" 个 端 节点 ， 如 图 
LI-9 所 示 。 让 我 们 选任 总 的 阶 数 为 砧 的 码 作为 第 一 个 码 字 cij。 因 为 任何 一 个 码 字 都 不 能 成 为 其 他 
码 字 的 前 缓 〈 前 组 条件) ， 所 以 这 种 选择 排除 了 22-m 个 疝 节 点 。 继续 这 个 过 程 直 到 最 后 一 个 码 字 
被 赋予 庙 节 点 nn 二 nj。 考虑 阶 数 为 j 之 L 的 节点 ， 被 排除 的 端 节点 的 个 数 占 总 节点 的 个 数 的 比例 为 


j 了 
>2<》2%<1l (1-38) 
k=| k=1 


因此 ， 我 们 可 以 构造 一 个 嵌入 到 有 ni 个 节点 的 全 树 中 的 前 级 码 。 被 排除 的 节点 在 图 中 用 
一 个 指向 它们 的 带 虚 线 的 箭头 标 出 。 

现在 证 明 必 要 性 。 我 们 注意 到 在 阶 数 为 1 二 1 的 码 树 中 ， 从 总 数 为 2" 的 端 节 点 中 排除 的 端 
节点 的 个 数 为 


L 1-39 
> DA < 9 ( ) 
k=1 


C1 


< 
0 看 C3 
ee 一。 


1 


+ 3 


图 1-9 一 个 阶 数 为 的 二 又 树 
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这 导致 


L 
之 2 <1 (1-40) 
1 


证 明 可 以 很 容易 地 扩展 到 一 个 规模 为 M 的 字母 表 对 应 的 前 缓 码 上 。 相 应 地 ， 我 们 只 需要 
将 二 又 树 变 成 M 又 树 即 可 。 
对 应 的 不 变 式 变 成 


MI~ 


M™<l (1-41) 


_ 
i 





例 1.10 考虑 利用 二 叉 树 构造 前 缓 码 。 
我 们 从 二 又 树 的 母 节点 开始 进行 构造 (如 图 1-10 所 示 )。 将 母 节点 标记 为 “0” (也 可 以 标 





记 为 “1" ) 。 每 个 节点 发 出 两 个 分 支 (二 又 树 )。 让 我 们 eo 
用 “0 标记 上 面 的 分 支 ， 用 “1 标记 下 面 的 分 支 (这 no -7 -~ 
种 标记 可 以 相互 交换 )。 首 先 我 们 从 母 节点 往 上 面 的 分 ~ 
支 走 ， 这 样 我 们 得 到 在 节点 mo 处 结束 的 第 一 码 字 c:=0。 人 ~ 
因为 我 们 想 构 造 一 个 前 绥 码 ， 它 的 任何 码 字 都 不 是 任何 | 
其 他 码 字 的 前 级， 我 们 必须 放弃 所 有 由 标记 为 c! 的 节点 om 
所 产生 的 子 节点 。 1 em 


接 下 来 ， 我 们 从 母 节点 往 下 面 的 分 支 走 ， 一 直到 贡 本 
点 mi 处 。 然 后 我 们 先 从 上 面 的 分 支 到 达 节 点 mio， 我 们 图] 19 利用 一 叉 树 构造 一 元 前 绥 码 
把 这 个 码 字 记 为 cy = 10 (这 个 分 支 的 标记 是 指 从 母 节点 过 来 的 )。 从 节点 moi 下面 的 分 支 ， 我 们 
最 终 到 达 端 节点 mouo 和 Po ， 它 们 分 别 对 应 码 字 c;= 110 和 cs4= 111。 

因此 这 棵 二 叉 树 给 了 我 们 四 个 前 绥 码 字 ，{0，10，110，111}。 从 构造 过 程 可 知道 这 是 一 
个 前 组 码 。 对 于 这 个 码 ， 下 式 成 立 。 


L 
2=21+22+23+2 =0.5+025+0.125+0.125=1 
天 =1 


因此 ， 它 满足 Kraft 不 等 式 。 





我 们 现在 叙述 并 证 明 无 噪声 信 源 编码 定理 ， 它 适用 于 满足 前 级 条 件 的 码 。 
定理 1.2 (人 和合 源 编码 定理 ) 设 X 为 离散 无 记忆 信 源 (DMS) 的 字母 集合 ， 有 着 有 限 炳 
HH(X)， 而 且 其 输出 符号 xX， 上 ==1,2,…, 上 出 现 的 概率 为 P(x), k= 二 1,2,…, 上 上。 给 出 这 些 参 数 后 ， 
则 可 以 构造 满足 前 组 条 件 的 码 ， 其 平均 码 长 R 满 足 不 等 式 
H(X)< R<H(X)+1 (1-42) 
证 明 首先 考虑 该 不 等 式 的 下 界 。 对 于 长 度 为 n4, 1 志 k 志 LL 的 码 字 ， 关 加 (X) 一 尽 可 以 表示 为 


L 1 L L Dng 
HH X 一 R 三 Pp 1 一 一 一 一 一 Pp 二 PR 
( ) 之 (xx) O082 PC ) 和 (Xx )rnx Plog: PC) 


我 们 现在 利用 不 等 式 In x 所 x 一 1 来 得 到 
L pA La 
HX)— Re<(log, e) 之 pe Bj -1 jGog, e) (> 2 -1 jeo 
k=1 p(x ) k=1 
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最 后 一 个 不 等 式 是 由 Kraft 不 等 式 得 到 的 。 当 且 仅 当 对 所 有 1<k<L 都 满足 P(xi )=2-% 时 ， 上 式 
中 的 等 号 成 立 。 因 此 下 界 得 到 证 明 。 
下 面 我 们 证 明 上 界 。 让 我 们 选取 码 字 长 度 扩 使 其 满足 2 < Px)<27 。 首先 考虑 2 < 
P(x4)。 将 1 所 K&L 对 两 边 求 和 我们 得 到 
L L 
D2 ™ < DP)=1 
k=1 k=1 
这 上 就 是 Kraft 厅 等 式 ， 对 此 看 在 满足 前 组 条 件 的 码 。 
下 面 考 虑 P(t)<2- 11。 对 两 边 取 对 数 得 到 
log2 P(x )<—nt+1 
或 者 
n<1—log, P(x) 
两 边 磁 P(xi)， 之 后 对 1 kL 求 和 ， 可 得 
L L L 
BPCxe ne <》 Pxy) + [过 P(x )log, poy] 
k=1 k=1 k=1 
或 者 
R<H(X)+!1 
因此 上 界 得 证 。 
信 源 编码 定理 告诉 我 们 ， 对 于 任意 用 来 表示 一 个 信 源 中 符号 的 前 缕 码 ， 用 于 表示 信 源 符 
号 的 最 小 比特 数 平均 必须 至 少 等 于 该 信 源 的 粒 。 如 果 对 某 个 信 源 X， 我 们 找到 了 一 种 满足 玉 = 


H(X) 的 前 缀 码 ， 则 必须 放弃 进一步 搜索 ， 因 为 不 可 能 找到 更 好 的 。 该 定理 还 告诉 我 们 ， 一 个 
有 高 炉 (不 确定 性 ) 的 信 源 用 前 组 码 平均 需要 更 多 的 比特 数 来 表示 信 源 的 符号 。 


定义 1.13 前 组 码 的 效率 定义 为 





n= 一 亏 (1-43) 


由 信 源 编码 定理 可 知 前 缀 码 的 效率 满足 mm< 1。 对 符号 的 有 效 表示 导致 对 数据 的 压缩 。 信 源 编 
码 主要 用 于 数据 语音、 文本、 图 像 、 视 频 等 ) 压缩 。 








例 1.11 考虑 一 个 以 概率 P(x1)=0.5, P(x2)=0.3, P06) 二 0.1, P04) 二 0.1 产 生 四 个 符号 的 信 源 X。 
该 信 源 的 灶 为 


4 
H(X) = ~ 》 PUxkt) logs P(x1) = 1.685 (bit) 
k=1 


假定 我 们 使 用 例 1.10 中 的 前 组 码 {0，10，110，111}， 则 平均 码 字 长 度 R 为 


4 
R= nCx) PO) = 1(0.5) + 2(0.3) + 3(0.1) + 3(00.D = 1.700 (bit) 
k=1 
因此 ， 我 们 得 到 
HO < R<HON+L 


该 码 的 效率 为 9= (1.685/1.700)=0.9912。 假 车 信 源 符号 的 概率 为 P(xD=2"%*， 即 P(x)=2 = 
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0.5，P(Ca)=2 一 =0.25，Pos)=2-3=0.125，PodJ=2-3=0.125， 那 么 平均 码 字 长 度 则 为 ， 丽 = 
1.750 比 特 = AH(X)。 在 这 种 情况 下 ，n] = 1 。 





1.6 霍 夫 曼 编 码 


我 们 现在 学 习 一 种 有 效 的 构造 DMS 信 源码 的 算法 ， 信 源 符 号 并 不 是 等 可 能 地 出 现 。 根 据 
信 源 符号 的 出 现 概 率 PCx),i= 1, 2,…, 上 ， 霍 夫 曼 (Huftman) 在 1952 年 给 出 了 一 种 变 长 编码 算 
法 。 该 算法 在 信 源 符号 表示 平均 所 需要 的 比特 数 方面 是 最 优 的 ， 而 且 也 满足 前 组 条 件 。 下 面 
是 霍 夫 曼 编 码 算法 的 步骤 ， 

(1) 将 信 源 符号 按 概率 递减 的 次 序 排列 。 

(2) 将 图 1-11 中 最 下 面 的 两 个 符号 连 在 一 起 。 将 这 两 个 
符号 的 概率 之 和 写 在 它们 的 结合 节点 上 。 将 这 两 个 分 支 分 
别 标记 为 “1” 和 “0”， 如 图 1-11 所 示 。 图 1-11 霍 夫 曼 编 码 中 将 概率 结合 

(3) 将 这 个 概率 和 看 做 一 个 新 符号 的 概率 。 重 新 选取 最 
小 的 两 个 概率 ， 将 它们 绑 定 在 一 起 构成 一 个 新 的 概率 。 每 一 次 我 们 把 两 个 符号 结合 在 一 起 时 ， 
符号 总 数 减 少 1。 每 当 把 两 个 概率 (节点 ) 结合 在 一 起 时 ， 我 们 总 是 把 两 个 分 支 标记 为 “1? 
和 “0 。 

(4) 将 此 过 程 继续 下 去 直到 只 剩 下 一 个 概率 (如 果 你 加 对 了 ， 它 应 该 是 1! )。 这 就 完成 了 
土 夫 曼 树 的 构造 。 

(5) 要 找 出 任何 符号 的 前 缀 码 字 ， 需 要 找到 从 最 后 节点 到 该 符号 的 一 个 路 径 ， 在 沿 反 向 追 
踪 路 径 时 读 出 分 支 的 标号 ， 这 就 是 该 符号 的 码 字 。 

通过 下 面 的 例子 可 以 很 容易 理解 上 述 算法 。 








例 1.12 考虑 有 7 个 符号 x, i=1,2,…,7， 它 们 的 概率 分 别 为 P(x1)=0.37、P(x) =0.33、PCo) 
三 0.16、P(x2)==0.07、P(xs) 二 0.04、P(xe)=0.02 和 P(x),)=0.01 的 离散 无 记忆 信 源 。 我 们 首先 将 概 
率 按 递减 次 序 排列 ， 然 后 构造 霍 夫 曼 树 ， 如 图 1-12 所 示 。 


X1 0.37 





Xx2 0.33 
X3 0.16 





X4 0.07 
xs 0.04 


xe 0.02 





图 1-12 例 1.12 中 的 霍 夫 曼 编码 


要 找 出 任何 特别 符号 的 码 字 ， 我 们 仅 需 要 找到 从 最 后 的 节点 到 该 符号 的 路 径 。 为 了 便于 
演示 ， 我 们 在 图 中 用 虚线 标 出 了 概率 为 0.07 的 符号 x 的 路 径 。 我 们 在 沿路 径 走 的 时 候 读 出 各 分 
支 的 标记 ， 便 得 到 码 字 1110。 
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符 号 概 率 自信 息 码 字 
x 0.37 1.4344 0 
0.33 1.5995 10 
加 0.16 2.6439 110 
总 0.07 . 3.8365 1110 
Xs 0.04 4.6439 11110 
x 0.02 5.6439 111110 
x : 001 6.6439 111111 





可 以 计算 出 该 信 源 的 粮 为 


7 
FOOD = — 2 Px ) log; P(x )= 2.1152 (bit) 
k=1 


从 而 可 计算 出 平均 每 个 符号 的 二 元 比特 数 为 


k 
= 1(0.37) + 2(0.33) + 3(0.16) + 4(0.07) + 5(0.04) + 6(0.02) + 6(0.01) 
2.1700 (bit) . 


该 码 的 效率 为 n=(2.1152/2.1700)=0.9747。 
例 1.13 本 例子 将 证 明 霍 夫 曼 编码 不 惟一 。 考 虚 有 7 个 符号 x,,i=1,2,…,7， 概 率 分 别 为 P(x) 
=0.46、P(w)=0.30、P(%)=0.12、P(x)=0.06、P(x;) =0.03、PGx)=0.02 和 P(x))=0.01 的 DMS。 


符 ”号 概 率 自信 息 码 字 码 长 
x 0.46 1.1203 1 1 
x 0.30 1.7370 00 2 
x 0.12 3.0589 010 3 
x 0.06 4.0589 0110 4 
x 0.03 5.0589 01110 5 
x 0.02 5.6439 O11110 6 
xy 0.01 6.6439 011111 7 





图 1-13 例 1.13 中 的 霍 夫 曼 编 码 


可 以 计算 出 该 信 源 的 粹 为 


7 
H(X) = -》 Px) log P(x1) = 1.9781(bit) 
k=1 
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从 而 可 以 计算 出 每 个 符号 的 平均 二 元 比特 数 为 
7 
R = PnPlxy) 
k=1 
= 1(0.46) + 2(0.30) + 3(0.12) + 4(0.06) + 5(0.03) + 6(0.02) + 6(0.01) 
= 1.9900 (bit) 
该 码 的 效率 为 n=(1.9781/1.9900)=0.9940。 

我 们 现在 将 看 到 霍 夫 曼 编码 不 是 惟一 的 。 第 一 步 , 考虑 最 小 两 个 概率 的 组 合 (符号 xs 和 xz ) ， 
它们 的 和 为 0.03， 等 于 与 符号 Xs 对 应 的 下 一 个 较 高 的 概率 。 第 二 步 ， 我 们 可 以 选择 使 这 个 组 合 
概率 (比如 说 属于 符号 x') 高 于 或 低 于 符号 x;。 假 定 我 们 把 组 合 概率 放 在 下 面 。 继 续 进行 ， 
又 将 发 现 zs 和 xs 组 合 后 的 概率 为 0.6， 等 于 符号 zs 的 概率 。 我 们 又 一 次 可 以 选择 使 组 合 概率 高 
于 或 低 于 zx。 每 次 我 们 做 出 一 种 选择 〈 掷 硬 币 ) 时 ， 最 后 都 会 导致 符号 的 码 字 的 改变 。 在 图 1-14 
中 ， 每 次 在 有 两 个 相同 概率 的 情况 下 要 做 出 一 种 选择 时 ， 我 们 把 组 合 符号 的 概率 放 在 上 面 。 

Mi 0.46 
% 0.30 
和 0.12 


% 0.06 





图 1-14 例 1.13 中 的 另 一 种 玲 夫 曼 编 码 方法 导致 一 个 不 同 的 码 


符 ”号 概 率 自信 息 码 字 码 长 
x 0.46 1.1203 1 1 
加 0.30 1.7370 00 2 
加 0.12 3.0589 011 3 
加 0.06 4.0589 0101 4 
和 0.03 5.0589 01001 5 
和 0.02 5.6439 010000 6 
A 0.01 6.6439 010001 6 
该 信 源 的 坑 为 


7 
H(X) = -> P(xx) log> P(x )= 1.9781 (bit) 
k=1 
而 平均 每 个 符号 的 比特 数 为 
7 
R= meP(xre) 
k=1 


= 1(0.46) + 2(0.30) + 3(0.12) + 4(0.06) + 5(0.03) + 6(0.02) + 6(0.01) 
= 1.9900 (bit) 
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该 码 的 效率 为 n= 二 (1.9781/1.9900)=0.9940。 因 此 两 种 码 是 同样 地 有 效 。 这 就 说 明 ， 给 定 一 组 
概率 ， 相 应 的 霍 夫 曼 编码 并 不 是 惟一 的 。 


假设 我 们 稍微 改变 一 下 概率 ， 新 概率 为 P01)==0.42，P(w)=0.30，PC3)=0.15，PQ6) 二 0.07， 
7 


Po9=003，Pog=002，Poo)=0.01。 此 信息 源 的 和 为 后 CO = - 2 P(x log2P(x) = 2.0569(bit)。 
霍 夫 曼 编码 如 下 : 1 


符 ”号 概 率 自信 息 码 字 码 长 
x 0.42 1.2515 1 1 
x2 0.30 1.7370 00 2 
x 0.15 2.7370 010 3 
Xa 0.07 3.8365 0110 4 
x 0.03 5.0589 01110 5 
x 0.02 5.6439 011110 6 
x 0.01 6.6439 011111 6 


我 们 观察 到 ， 虽 然 概 率 值 发 生变 化 ， 但 霍 夫 曼 编码 仍然 和 图 1-13 相 同 。 平 均码 长 
了 

忆 = 》 mpPG) = 2.0800(bit)。 此 码 的 效率 是 n=(2.0569/2.0800) = 0.9889。 直 观 上 ， 我 们 可 以 
天 =] 


说 码 长 (一 个 整数 ) 不 能 因为 要 反映 输入 信号 的 概率 (以 及 自信 息 ) 的 变化 而 变化 。 
我 们 进行 另外 一 个 类 似 的 实验 ， 符 号 概率 集合 如 下 : 


符 ”号 概 率 自信 息 码 字 码 长 
Xl 1/2 1 1 1 
x2 1/2? 2 00 2 
3 1/23 3 010 3 
Xa 1/24 4 0110 4 
Xs 1/25 5 01110 5 
x 1/24 6 011110 6 
x 1/27 6 011111 6 





称 一 个 概率 分 布 是 关于 D 的 D-adic 分 布 ， 如 果 每 一 个 概率 等 于 D ”("“ 为 某 个 整数 )。 根 据 
定义 ， 上 表 的 分 布 是 D-adic 的 。 此 信息 源 的 箭 是 


了 
有 OO =-》 Polog:P(rD = 1.9688(bit) 
k=1 


平均 每 个 符号 的 二 元 比特 数 为 


R= > nmP(x1) = 1.9688(bit) 

kK=1 
因此 ， 此 码 的 效率 是 7 =1。 霍 夫 曼 编码 把 码 长 和 符号 的 概率 (以 及 自信 息 ) 准确 地 匹配 
起 来 。 例 如 ， 如 果 xs 的 自信 息 是 5bit， 霍 夫 曼 编码 将 为 此 符号 分 配 码 长 为 5 的 码 字 。 很 明显 ， 
为 了 达到 最 优 (n=1)， 符 号 的 自信 息 必 须 是 整数 ， 这 就 意味 着 概率 必须 是 2 的 负 整 数 次 方 。 而 
在 现实 中 并 不 是 这 样 的 。 一 个 更 加 有 效 的 用 来 把 码 长 和 符号 概率 进行 匹配 的 机 制 将 在 本 章 稍 

后 介绍 ， 即 算术 编码 (Arithmetic Code)。 
在 上 述 例 子 中 ， 编 码 是 通过 一 个 个 符号 完成 的 。 一 种 更 为 有 效 的 方法 是 一 次 给 B 个 符号 的 
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一 个 组 一 起 编码 。 在 此 情况 下 信 源 编码 定理 的 界 变 为 
BHOO) < Rs < BHO) +1 (1-44) 


这 只 是 因为 B- 符 号 组 的 精 为 BF(COD ， 而 Rs 是 每 个 B 一 符号 组 的 平均 比特 数 。 我 们 可 以 将 上 述 的 
界 重新 写 为 


R 1 
H < 一刀 一 - 1-44 
(0 < B CD+ 古 ( ) 


其 中 思 /B= 尺 是 每 个 信 源 符号 的 平均 比特 数 。 因 此 只 要 选取 充分 大 的 组 8， 就 可 以 使 瓦 成 为 
任何 接近 A(X) 的 值 。 





例 1.14 考虑 下 表 中 列 出 的 信 源 符号 和 它们 相应 的 概率 。 








符 ”号 概 率 自信 息 码 宇 
x 0.40 1.3219 1 
x 0.35 1.5146 00 
0.25 2.0000 01 





对 于 这 个 码 ， 信 源 的 彤 为 
3 » 
H(X)=— 2 Plx,)log, Px) =1.5589 (bit) 
k=1 
每 个 符号 的 平均 二 元 字 节 数 为 
3 
R = YnPxi) 
k=1 
= 1(0.40) + 2(0.35) + 2(0.25) = 1.60 (bit) 


而 该 码 的 效率 为 n=(1.5589/1.6000) =0.9743。 
我 们 现在 把 符号 每 两 个 分 一 组 ， 再 重新 应 用 霍 夫 曼 编码 算法 。 符 号 对 的 概率 按 递减 次 序 
排列 如 下 表 。 








符 号 对 概 ” 率 自信 息 码 字 
XX 0.1600 2.6439 10 
XIX 0.1400 2.8365 001 
XX 0.1400 2.8365 010 
oz 0.1225 3.0291 011 
0 0.1000 3.3219 111 
XX 0.1000 3.3219 0000 
XX 0.0875 3.5146 0001 
XaXs 0.0875 3.5146 1100 
Xaxs 0.0625 4.0000 1101 





对 于 这 个 码 ， 其 粹 为 
9 
2H(®) = -P(x ) log, P(x ) = 3.1177 (bit) 
k=1 


= HX) = 1.5589 bit (bit) 
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注意 信 源 的 粮 没有 改变 ! 每 个 组 (符号 对 ) 的 平均 比特 数 为 


9 
Rs = DnPxi) 
k=1 


= 2(0.1600) + 3(0.1400) + 3(0.1400) + 3(0.1225) 
+ 3(0.1000) + 4(0.1000) + 4(0.0875) + 4(0.0875) + 4(0.0625) 
= 3.1775 (bit/ 符 号 对 ) 
过 R= 3.1775/2 = 1.5888 (bit/ 符 号 ) 


该 码 的 效率 为 n= (1.5589/1.5888) =0.9812。 因 此 我 们 看 到 将 两 个 字母 组 成 一 个 符号 提高 了 编 
码 效率 。 


例 1.15 考虑 下 表 所 列 的 信 源 符号 和 它们 相应 的 概率 。 








符 号 概 率 自 信 息 码 字 
A 0.50 1.0000 1 
x 0.30 1.7370 00 
罗 0.20 2.3219 01 





对 于 这 个 码 ， 信 源 的 粹 为 


H(X)=-— > P(x, )log, P(x,) = 1.4855 (bit) 
每 个 符号 的 平均 二 元 比特 数 为 
R= Sm ptr) 
= 100.50) + 2(0.30) + 2(0.20) 
=1.50 (bit) 
而 该 码 的 效率 为 7 = (1.4855/1.5000) = 0.9903。 


我 们 现在 把 符号 每 两 个 分 一 组 ， 再 重新 应 用 霍 夫 曼 编 码 算法 。 符 号 对 的 概率 按 递减 次 序 
排列 如 下 表 。 


符 号 对 概 率 自信 息 码 字 
XIX 0.25 2.0000 00 
xX 0.15 2.7370 010 
XX 0.15 2.7370 011 
0.10 3.3219 100 
XxX 0.10 3.3219 110 
Xx, 0.09 3.4739 1010 
x 0.06 4:0589 1011 
ER 0.06 4.0589 1110 
Xo 0.04 4.6439 11 


对 于 这 个 码 ， 其 炳 为 
9 
2H(%) = ~ YB P(x ) logs P(x ) = 2.9710 (bit), 
区 二 | 


= H(X) = 1.4855 (bit) 
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每 个 组 (符号 对 ) 的 平均 比特 数 为 

9 

Rs = Dn Pxi) 
k=1 
= 2(0.25) + 3(0.15) + 3(0.15) + 3(0.10)+ 3(0.10)+ 4(0.09) 

+ 4(0.06) + 4(0.06) + 4(0.04) = 3.00(bit/ 符 号 对 ) 

二 R=3.00/2 =1.5000(bit/ 符 号 ) 
该 码 的 效率 为 n,= (1.4855/1.5000) =0.9903。 在 这 种 情况 下 ， 将 两 个 字母 组 合 在 一 起 并 没有 
提高 编码 效率 ! 然而 ， 我 们 每 次 把 3 个 字母 组 合 在 一 起 (三 元 组 )， 然 后 应 用 霍 夫 曼 编码 ， 可 


得 到 编码 效率 n=0.9932。 在 每 次 把 4 个 字母 组 合 在 一 起 的 情况 下 ， 我 们 看 到 进一步 的 改进 
(m=0.9946)。 





1.7 Shannon-Fano-Elias 编 码 
使 用 码 长 为 109 -lcs 二 | 的 纺 友 ， 我 们 称 之 为 Shannon 码 。Shannon 码 的 码 长 满足 


Kraft 不 等 式 ， 因 此 可 以 用 来 构造 惟一 的 可 译 码 。 在 本 节 中 ， 我们 将 要 学 习 另 外 一 种 基于 
Shannon-Fano-Elias 编 码 技术 来 构造 惟一 的 可 译 码 的 方法 。 此 方法 使 用 累积 分 布 画 数 
(Cumulative Distribution Function) 来 分 配 码 字 。 此 累积 分 布 函 数 定义 为 : 


Fx) = 2,P(2) (1-46) 


其 中 ，P(z) 是 符号 的 出 现 概率 。 如 图 1-15 所 示 ， 累 积分 布尔 数 是 由 大 小 为 P(x) 的 多 步 累积 而 成 。 
我 们 继续 定义 一 个 修正 的 黑 积 分 布 函数 


E(w = TP(a)+ > P(x) 


ZX 


(1-47) 


F(% 


图 1-15 累积 分 布 图 数 


其 中 ，F(x) 表 示 所 有 z<x 的 概率 之 和 加 上 x 的 概率 的 一 半 。 函 数 F(x) 的 值 是 累积 分 布防 数 F(x) 
在 x 处 对 应 区 间 的 中 间 值 。 由 于 概率 是 正 的 ， 所 以 如 果 x 关 z, 则 F(x) 关 F(z)。 因 此 ， 当 给 定 F(x) 
时 ， 可 以 仅仅 通过 观察 累积 分 布 函 数 的 图 来 确定 +， 从 而 F(x) 的 值 可 以 用 来 对 x 进行 编码 。 

一 般 来 说 ，F(x) 是 一 个 实数 。 这 就 意味 着 我 们 需要 无 穷 多 个 比特 来 表示 F(x) ， 而 这 将 导 
致 编码 效率 非常 低 。 假 设 我 们 对 F(x) 进行 如 下 修整 。 只 使 用 前 面 的 1(x) 个 比特 ， 并 记 为 


[FQ] 。 通 过 修整 的 定义 ， 我 们 有 : 
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1 
FoD-|FoD| < zs (1-48) 


如 果 I(x) = log_ +1， 则 
p(X) 





(PO FOr) F(x-1) (1-49) 





这 就 暗示 了 值 [7] 位 于 累积 分 布 函 数 F(0) 在 x 处 对 应 区 间 中 ， 并 且 用 10w) 个 比特 来 表示 x 是 
足够 的 。 任 意 码 字 的 间隔 的 长 度 是 2- 心 。 从 式 (1-48) 中 我 们 可 以 看 出 此 间隔 小 于 Fo 在 x 处 对 应 


区 间 高 度 的 一 半 。 由 于 我 们 使 用 -|me 司 |*1 个 比特 来 表 示 则 此 编码 长 度 的 期 望 值 是 
p(x 





R= > POI(x) = om 而 | + 中 H(X)+2 (1-50) 


因此 Shannon-Fano-Elias 编 码 机 制 能 够 实现 码 长 在 比 炉 多 两 比特 之 内 。 


例 1.16 按 给 定 的 下 表 考虑 D-adic 分 布 











符号 概率 F(x) F(x) F(x) (二进制) I(x)= [ee j +1 码 字 
XI 172 0.5 0.25 0.01 2 O01 
Xa 1/2° 0.75 0.625 0.101 3 101 
Xs 1/23 0.875 0.8125 0.1101 4 1101 
Xa 1/23 1 0.9375 0.1111 4 1111 





此 分 布 的 粒 是 1.75bit。 但 是 Shannon-Fano-Elias 编 码 机 制 的 平均 码 长 是 2.75bit。 可 以 很 容易 地 
看 出 ， 如 果 删 除 所 有 码 字 的 最 后 一 位 ， 我 们 就 得 到 了 景 优 码 ( 霍 夫 曼 编 码 ) 。 值 得 注意 的 是 ， 
不 同 于 起 夫 曼 编 码 方式 ， 我 们 不 用 首先 对 概率 进行 降序 排序 。 接 下 来 我 们 重新 做 一 次 试验 ; 








符号 概率 F(x) F(x) F(x) (二 进 制 ) -| po 码 字 
Xl 1/22 0.25 0.125 0.001 3 001 
Xz 172 0.75 0.625 0.10 2 10 
xX 1/23 0.875 0.8125 0.1101 4 1101 
Xa 1/23 1 0.9375 0.1111 4 1111 





我 们 可 以 观察 到 通过 Shannon-Fano-Elias 编 码 机 制 得 到 的 码 字 不 是 惟一 的 。 平 均码 长 是 
2.75bit。 但 是 ， 这 次 我 们 发 现 仅仅 删除 所 有 码 字 的 最 后 一 位 ， 得 不 到 最 优 码 ， 因 为 如 此 处 理 ， 
编码 就 不 再 是 前 级 码 (prefix code) 。Shannon-Fano-Elias 编 码 的 基本 思想 已 经 在 算术 编码 中 使 
用 ， 此 种 编码 利用 计算 上 高 效 的 算法 来 进行 编码 和 解码 。 


1.8 算术 编码 


从 例 1.13 可 知 ， 如 果 符 号 的 概率 是 2 的 负 整数 次 方 ， 那 么 霍 夫 曼 编 码 是 惟一 最 优 编码 ， 这 
是 因为 所 有 的 前 缀 码 是 在 比特 层面 上 进行 编码 的 。 我 们 可 以 从 下 面 两 方面 来 理解 : 
(1) 前 级 码 试 图 使 用 码 长 为 整数 的 码 字 去 匹配 符号 的 自信 息 。 这 种 长 度 匹 配 使 得 码 字 可 
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能 比 自信 息 长 ， 也 可 能 短 。 而 且 当 且 仅 当 自 信息 是 整数 的 时 候 ， 两 者 长 度 是 完全 相同 的 。 

(2) 如 果 我 们 使 用 二 叉 树 产生 前 缀 码 ， 无 论 树 枝 的 概率 是 0.5/0.5 还 是 0.9/0.1， 树 枝 的 决定 
也 要 占据 一 个 比特 。 在 后 者 的 情况 下 ， 理 论 上 需要 用 0.15bit(-log:(0.9)) 选 择 第 一 个 树枝 ， 用 
3.32bit( 一 logs(0.1)) 选 择 第 二 个 树枝 。 所 以 平均 码 长 是 0.467bit(0.9 x 0.15+0.1 x 3.32)。 霍 夫 曼 
编码 还 需要 为 每 一 次 决定 使 用 一 个 比特 。 

算术 (Arithmetic) 编码 没有 这 种 限制 。 它 的 工作 方式 是 把 整个 文件 编码 成 0O 和 1 之 间 的 某 
个 实数 的 区 间 。 根 据 某 个 符号 的 出 现 概率 ， 消 息 中 连续 出 现 的 符号 降低 了 此 区 间 。 





例 1.17 假设 我 们 的 字母 表 只 由 三 个 符号 A、B、C 组 成 , 它们 出 现 的 概率 分 布 是 P(A)=0.5， 
A(B)=0.25，P(C)=0.25。 我 们 首先 把 [0, 1] 区 间 根 据 字母 的 出 现 概 率 分 成 三 个 子 区 间 ， 如 同 图 
1-16 的 步骤 1 一 样 。 因 此 ，A 对 应 [0, 0.5)，B 对 应 [0.5, 0.75)，C 对 应 [0.75, 10)。 注 意 ， 子 区 间 
的 长 度 正比 于 它们 的 出 现 概率 。 下 一 步 ， 假 设 输入 消息 流 是 B A C A…， 我 们 首先 对 B 进 行 编 
码 。 首 先 选 择 对 应 区 间 [0.5, 0.75)， 然 后 此 子 空间 又 根据 符号 出 现 和 概率 的 比例 被 分 成 三 个 子 空 
间 ， 因 此 ， 如 图 1-16 步 又 2 所 示 ，A 对 应 [0.5,0.625)，B 对 应 [0.6255.0.6875)，C 对 应 [0.6875, 1.0)。 
由 于 接 下 来 的 符号 是 A， 我 们 选择 A 对 应 的 区 间 [0.5, 0.625)。 此 区 间 又 根据 符号 出 现 概率 比例 
被 分 成 三 个 子 空间 ，A 对 应 [0.5, 0.625)，B 对 应 [0.5625, 0.59375)，C 对 应 [0.59375, 0.625)。 接 
下 来 的 符号 是 C， 其 对 应 的 区 间 是 [0.59375, 0.625)， 它 又 同样 被 分 成 三 个 区 间 …… 依 次 类 推 ， 
在 对 A 完 成 编码 后 ， 剩 下 的 区 间 是 [0.59375, 0.609375)。BACA 的 算术 编码 为 此 区 间 中 任意 的 
一 个 数 。 我 们 可 以 说 对 BACA 的 算术 编码 为 0.59375 。 





,0.625 上 “~~ 0.625 
“(© c 
0.59375 上 站、 0.6171875 
AN 
B B ， 
\ 要 
0.5625 `、 0.609375 目 - 
OO 
A AN 目 
: 
日 = \ = 
四 ------------------， 0.5 BE 0.59375 = 


图 1-16 对 BACA 进 行 算术 编码 的 例子 





1.9 Lempel-Ziv 算 法 


霍 夫 曼 编码 需要 符号 的 概率 。 但 许多 日 常生 活 现象 并 不 预先 提供 符号 的 概率 (如 信 源 的 
统计 特性 未 知 ) 。 原 则 上 通过 对 信 源 的 输出 进行 长 时 间 观 察 ， 可 以 估计 出 符号 的 概率 。 但 在 实 
用 中 这 是 不 现实 的 。 另 外 ， 霍 夫 曼 编码 对 DMS， 也 就 是 当 一 个 符号 的 出 现 不 会 影响 到 后 续 符 
号 的 出 现 概率 时 是 最 优 的 ， 但 对 有 记忆 信 源 这 就 不 是 最 好 的 选择 。 例 如 考虑 书写 文字 的 压缩 
问题。 我 们 知道 许多 字母 成 对 或 成 组 出 现 ， 如 “gq-u”、“t-h”"、“i-n-g” 等 。 用 字母 间 的 统计 互 
相关 性 连同 字母 各 自 的 出 现 概 率 应 该 会 更 有 效 。 这 就 是 Lempel 和 Ziv 在 1977 年 提出 的 方案 。 他 
们 的 信 源 编码 算法 不 需要 信 源 的 统计 特性 。 这 是 一 种 变 长 到 定 长 信 源 编码 算法 ， 属 于 广义 信 
源 编码 算法 类 。 
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Lempel-Ziv 广 义 编 码 隐 含 的 逻辑 如 下 : 通过 对 由 一 连 串 的 0 和 1 组 成 的 预先 囊 《前缀 串 )， 
另 加 一 个 新 的 比特 进行 编码 ， 对 任意 比特 序列 的 压缩 是 可 能 的 。 然 后 ， 由 原来 的 前 缀 串 添加 
一 个 新 的 比特 所 形成 的 新 串 又 作为 未 来 串 的 前 组 串 。 这 些 变 长 的 组 叫做 短语 。 这 些 短语 列 在 
一 个 字典 里 ， 其 中 记录 了 已 存在 的 短语 和 它们 的 位 置 。 当 对 一 个 新 的 短语 编码 时 ， 我 们 指明 
已 有 的 短语 在 字典 中 的 位 置 并 附加 新 字母 。 我 们 可 以 通过 下 面 的 例子 来 更 好 地 理解 Lempel- 
Ziv 算 法 是 怎么 工作 的 。 





例 1.18 假定 我 们 想 对 串 101011011010101011 编 码 。 我 们 首先 做 谱 法 分 析 ， 将 它 变 成 一 些 用 
有 逗号 分 开 的 短语 ， 它 们 代表 的 字符 串 可 以 用 原来 的 一 个 字符 串 作 前 绥 另 加 一 个 比特 表示 。 
第 一 个 比特 是 1， 它 前 面 设 东 西 ， 因 此 它 有 一 个 空前 绥 串 而 且 另 外 的 1 比特 就 是 它 自 己 ， 
1，01011011010101011 
对 0 也 是 一 样 ， 因 为 它 不 能 用 仅 存 的 前 组 来 表示 ; 
1, 0, 1011011010101011 
到 目前 为 止 ， 我们 的 字典 包含 字符 串 “1” 和 “0”。 接 下 来 会 遇 到 一 个 1， 但 它 已 经 在 我 们 的 
字典 中 存在 了 ， 因 此 我 们 继续 往 下 进行 。 接 下 来 的 10 显 然 是 由 前 级 1 和 一 个 0 构成 ， 于 是 我 们 
现在 得 到 ， 
1, 0, 10,11011010101011 
如 此 继续 下 去 ， 我 们 最 终 将 整个 字符 串 分 拆 如 下 ; 
1, 0, 10, 11, 01, 101, 010, 1011 
现在 有 8 个 短语 ， 我 们 将 用 3 比特 来 标记 空 短语 和 前 7 个 短语 ， 它 们 一 共有 8 个 编 过 号 的 短语 。 
接 下 来 我 们 用 构成 一 个 新 短语 所 需 的 前 组 短语 的 数字 加 新 的 比特 来 表示 字符 串 。 为 了 直观 ， 
我 们 将 首先 用 括号 和 逗号 将 它们 分 开 。 这 8 个 短语 可 描述 为 : 
(000, 1) ，(000,0)，(001,0)，(001.1)，(010.1)，(011 1)，(101,0)，(110, 1) 
可 以 这 样 读 ; (在 位 置 0, 1 的 码 字 )，( 在 位 置 0, 0 的 码 字 )，( 在 位 置 1, 0 的 码 字 ) ，( 在 位 
置 1, 1 的 码 字 )，( 在 位 置 2, 1 的 码 字 )，( 在 位 置 3, 1 的 码 字 )， 等 等 。 因 此 上 述 字符 串 编码 之 
后 变 成 了 : 
00010000001000110101011110101101 
这 个 例子 中 的 字典 由 表 1-1 给 出 。 在 这 种 情况 下 ， 我 们 没 得 到 任何 压缩 ， 编 码 后 的 字符 串 
实际 上 更 长 了 ! 但 是 ， 最初 的 字符 串 越 大 ， 随 着 编码 的 进程 我 们 会 有 更 大 的 节余 ， 因 为 很 大 
的 前 缀 可 用 很 小 的 数字 索引 来 表示 。 事 实 上 ，Ziv 证 明了 对 于 长 文件 ， 文 件 的 压缩 可 以 达到 由 
文件 信息 量 所 决定 的 能 获得 的 最 优 值 。 





下 一 个 问题 是 这 个 表 应 该 多 长 。 在 实际 应 用 中 ， 不 管 表 的 长 度 如 何 ， 最 终 总 是 要 溢出 。 
这 个 问题 可 通过 预先 确定 一 个 充分 大 的 字典 来 解决 。 编 码 器 和 译 码 器 可 以 通过 周期 性 地 用 比 
较 常用 的 短语 取代 字典 中 不 常用 的 短语 来 更 新 字典 。Lempel-Ziv 算 法 已 在 实际 中 广泛 应 用 。 
UNIX 操 作 系 统 中 的 压缩 和 解压 应 用 程序 用 的 就 是 这 种 算法 的 修订 版 。 用 于 压缩 二 元 文件 的 标 
谁 算法 用 12bit 的 字 和 传递 另外 1bit 来 表示 一 个 新 序列 。 使 用 这 样 的 码 ，Lempel-Ziv 算 法 可 以 将 
英文 文本 的 传递 压缩 大 约 55% 左 右 ， 而 堆 夫 曼 码 只 能 压缩 43%。 
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表 1-1 Lempel-Ziv 算法 的 字典 


字典 位 置 字典 内 容 定 长 码 字 
001 1 0001 
010 0 0000 
011 10 0010 ， 
100 11 0011 
101 01 0101 
110 101 Oill 
111 010 1010 
一 1011 1101 





在 下 一 节 中 我 们 将 学 习 另 外 一 种 编码 方案 ， 它 对 传真 件 传递 和 图 像 压 缩 极 其 有 用 。 
1.10 游程 编码 和 PCX 格 式 


游程 编码 (Run Length Encoding, RLE) 是 一 种 用 来 缩减 重复 字符 串 大 小 的 技术 。 这 个 重 

复 字 符 串 称 为 一 个 游程 (run) 。 典 型 的 RLE 把 一 个 符号 的 游程 编码 为 两 个 字 节 : 一 个 是 计数 ， 

另 一 个 是 符号 。RLE 对 任何 种 类 的 数据 都 能 压缩 ， 不 管 它 的 信息 量 如 何 ， 但 被 压缩 数据 的 信 

息 量 影响 到 压缩 率 。RLE 相 对 其 他 压缩 方法 来 说 得 不 到 很 高 的 压缩 率 ， 但 容易 实现 也 能 快速 
执行 。 多 数位 图 文件 格式 ， 如 TIFF、BMP 和 PCX 都 支持 RLE。 





例 1.19 考虑 下 列 比特 流 : 


S=11111111111111100000000000000000001111 (1-51) 
它 可 以 表示 为 : 十 五 个 1、 十 九 个 0、 四 个 1， 即 (15, 1)、(19, 0)、(4, 1)。 因 为 最 大 重复 次 
数 为 19, 这 个 数 可 以 用 5bit 来 表示 , 因此 我 们 可 以 将 上 述 比 特 流 编码 为 (01111, 1)、(10011, 0)、 
(00100, 1) 。 在 这 种 情况 下 ， 压 缩 率 为 18:38 = 1:2.11。 





RLE 非 常 适用 于 典型 办 公文 件 的 传真 图 像 。 这 些 双 色 图 像 ( 黑 和 和 白 ) 以 白色 为 主 。 如 果 
我 们 对 这 些 图 像 采样 后 转换 成 数字 数据 ， 就 会 发 现 许 多 水 平 线 整 个 都 是 白 的 (长 的 0 游程 ) 。 
另外 ， 若 某 个 给 定 的 像素 是 黑 的 或 白 的 ， 则 很 可 能 下 一 个 像素 也 是 相同 的 。 传 真 机 的 编码 实 
际 上 是 游程 编码 和 霍 夫 曼 编 码 的 结合 。 一 个 游程 码 把 游程 长 度 映射 到 码 字 ， 而 且 码 本 也 被 分 
成 两 部 分 : 第 一 部 分 包含 游程 长 度 为 64 倍 数 的 那些 符号 ， 第 二 部 分 则 由 有 0 ~ 63 个 像素 的 游程 
构成 。 例 如 一 个 有 205 个 像素 的 游程 将 通过 一 个 长 为 192 (3 x 64) 的 游程 的 码 字 加 上 长 为 13 的 
游程 的 码 字 来 发 送 。 通 过 这 种 方法 ， 用 来 表示 该 游程 所 需要 的 比特 数 会 显著 地 减少 。 另 外 ， 
某 些 已 知 的 出 现 概率 高 的 游程 被 编码 成 短 的 码 字 ， 这 进一步 减少 了 需要 传递 的 比特 数 。 用 这 
类 编码 方法 ， 典 型 的 对 传真 传输 件 的 压缩 将 达到 4 : 1 一 8 : 1。 连 接 到 高 速 调制 解 调 器 上 ， 这 
种 压缩 将 传输 一 页 文件 的 时 间 减 少 到 不 足 一 分 钟 。 

游程 编码 还 应 用 于 对 PCX 格 式 图 像 的 压缩 。PCX 格 式 是 作为 ZSoft 公 司 出 售 的 个 人 计算 机 
上 的 画图 及 编辑 用 的 绘图 刷 系 列 的 一 部 分 引进 的 。 目 前 ，PCX 格 式 实际 上 是 能 辨别 许多 图 像 
压缩 方法 中 用 的 哪 一 种 的 总 名 称 。 我 们 这 里 将 只 把 注意 力 放 在 其 中 一 种 用 于 256 色 图 像 的 方法 
上 。 我 们 将 只 :关注 那些 实际 包含 编 了 码 的 图 像 的 PCX 数 据 流 ， 而 不 是 用 于 储存 调 色 板 和 图 像 
信息 ， 比 如 有 多 少 行 、 每 行 的 像素 数 、 文 件 和 编码 方法 的 那 部 分 。 

基本 方案 如 下 ， 如 果 一 个 像素 襄 在 颜色 值 上 都 是 等 同 的 ， 那 么 可 以 把 它们 编码 为 特殊 族 
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标 字 节 (flag byte) ， 它 包含 一 个 计数 后 面 连接 一 个 表示 这 个 重复 像素 的 值 的 字 节 。 如 果 像 素 
没有 重复 ， 就 直接 把 它 编 码 为 它 本 身 的 字 节 。 这 样 的 一 个 简单 方案 在 实际 中 经 常 变 得 很 复杂 。 
考虑 在 上 面 的 方案 中 ， 如 果 一 个 图 像 的 调 色 板 中 用 到 了 所 有 256 种 颜色 ， 那 么 我 们 需要 -一 个 字 
节 的 256 个 值 来 表示 那些 颜色 。 因 此 ， 如 果 我 们 只 用 字 节 作为 码 的 基本 单位 ， 那 么 将 不 再 有 任 
何 可 能 的 用 过 的 字 节 值 可 作为 旗 标 /计数 字 节 。 另 一 方面 ， 如 果 我 们 对 任 一 已 编码 像素 都 使 用 
两 个 字 节 ， 这 样 可 以 留 有 余地 用 作 旗 标 /计数 的 组 合 ， 我 们 可 能 不 仅 没 把 图 像 的 大 小 压缩 ， 而 
是 放大 了 两 倍 。 

对 PCX 格 式 的 折 中 是 基于 它 的 设计 者 的 理念 : 许多 用 户 制作 的 图 画 (这 正 是 他 们 的 软件 
的 基本 输出 ) 将 不 会 用 到 所 有 的 256 种 颜色 。 于 是 ， 他 们 对 只 有 192 种 颜色 的 情况 优化 了 压缩 
方案 。 具 有 更 多 颜色 的 图 像 也 可 能 得 到 好 的 压缩 ， 但 用 此 方案 可 能 不 会 得 到 很 好 的 结果 ，。 





例 1.20 PCX 压 缩 将 一 种 颜色 (也 就 是 说 , 不 属于 具有 同一 种 颜色 的 游程 的 像素 ) 编码 为 0 一 191， 
直接 用 它 的 数值 的 二 元 字 节 表示 。 考 虑 表 1-2。 


表 1-2 PCX 编 码 例 





像素 颜色 值 十 六 进 制 码 二 进 制 码 
0 00 00000000 

1 01 00000001 

2 02 00000010 

3 03 00000011 

190 BE 10111110 

191 BF 10111111 





对 颜色 192 (连同 所 有 高 于 192 的 颜色 ) ， 码 字 等 于 一 个 字 节 ， 其 中 最 高 位 比特 位 (MSB) 都 设 
为 1。 我 们 将 用 这 些 码 字 来 表示 旗 标 和 计数 字 节 。 如 果 两 个 MSB 都 等 于 1， 我 们 说 它们 增加 了 
旗 标 的 一 个 计数 。 在 旗 标 /计数 字 节 中 的 剩余 6bit 将 被 解释 为 该 计数 的 6bit 二 进 制 数 (从 0 一 63 ) 。 
紧 接 这 个 字 节 的 就 是 表示 颜色 的 字 节 。 事 实 上 ， 如 果 我 们 有 一 种 颜色 的 一 个 像素 游程 具有 大 
于 191 的 调 色 板 码 ， 我 们 仍然 很 容易 对 此 进行 游程 编码 ， 因 为 在 游程 编码 字 节 对 里 ， 上 面 的 两 
个 比特 并 没有 在 第 二 个 颜色 码 的 字 节 中 保留 。 

如 果 一 个 像素 游程 的 长 度 超过 63， 我 们 就 用 这 个 码 字 本 身 来 表示 游程 中 的 前 63 个 像素 ， 
然后 对 游程 中 多 余 的 像素 编码 ， 直 到 穷尽 游程 中 的 所 有 像素 。 接 下 来 的 问题 是 ， 当 没有 游程 
时 我 们 怎么 处 理 剩余 的 几乎 整个 调 色 板 图 像 的 颜色 编码 ?我们 仍然 把 这 些 当做 游程 来 编码 ， 
只 是 让 游程 长 度 为 1 即 可 。 这 就 是 说 ， 对 64 种 颜色 出 现在 图 像 的 单一 像素 而 它 又 不 是 游程 的 一 
部 分 的 情况 ， 我 们 把 数据 增加 一 倍 。 幸 运 的 是 ， 这 种 情况 极 少 发 生 ! 





下 一 节 我 们 将 学 习 模拟 信 源 的 编码 。 回 顾 一 下 理想 状态 下 我 们 需要 无 穷 多 的 比特 数 才能 
精确 地 表示 模拟 信 源 ， 任 何 有 限 的 比特 数 都 只 能 近似 地 表示 。 我 们 可 以 选择 用 越 来 越 少 的 比 
特 数 来 给 出 对 原来 信号 的 越 来 越 差 的 近似 表示 。 因 此 ， 对 采样 信号 振幅 的 量化 的 结果 就 是 对 
数据 进行 了 压缩 。 我 们 也 要 研究 在 信息 源 的 采样 量化 后 所 引入 的 失真 概念 。 

1.11 率 失真 函数 


尽管 我 们 生活 在 一 个 模拟 的 世界 里 ， 多 数 通信 却 都 是 以 数字 形式 进行 的 。 因 为 多 数 自然 
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信 源 (如 语音 、 影 像 等 ) 都 是 模拟 的 ， 我 们 首先 对 它们 进行 采样 、 量 化 ， 然 后 再 处 理 。 考 虚 
一 个 波形 为 xD 的 模拟 消息 ， 它 是 随机 过 程 X() 的 一 个 采样 波形 。 假 定 X(#) 是 个 有 限 带 宽 的 平 
稳 过 程 ， 则 它 可 以 用 一 个 以 Nyquist 速 率 获得 的 正 态 采样 序列 来 表示 。 这 些 采 样 先 对 振幅 量化 
然后 再 编码 成 一 个 比特 序列 。 一 个 简单 的 编码 策略 可 以 是 定义 L 级 ， 然 后 对 每 一 个 采样 依照 下 
述 编码 : 

当 Z 是 2 的 寡 时 ，R=1log: 工 ， 或 

当 L 不 是 2 的 短 时 ，R= |log, L|+1 (1-52) 

如 果 所 有 级 并 不 等 可 能 ， 我 们 可 以 用 灶 编 码 以 达到 更 有 效 的 表示 。 为 了 更 精确 地 表示 模 

拟 波 形 ， 我 们 需要 更 多 的 级 数 ， 这 也 就 意味 着 每 个 采样 需要 更 多 的 比特 数 。 理 论 上 每 个 采样 
需要 无 穷 多 个 比特 才能 完全 表示 一 个 模拟 信 源 。 对 振幅 的 量化 导致 数据 压缩 ， 但 这 将 以 信号 
的 完整 性 为 代价 。 这 是 一 种 有 损 数 据 压缩 形式 ， 其 中 从 失真 情况 可 以 得 到 一 些 实际 信 源 采样 
{Xt 和 对 应 的 量化 值 {X} 之 间 的 区 别 的 度量 。 


定义 1.14 定义 平方 误差 失真 (squared-error distortion) 为 


dx) = (4 (1-53) 
一 般 情况 下 ， 一 种 失真 度量 可 以 表示 为 
d (xp. Ki) 一 | 和 天 人 (1-54) 


考虑 有 n 个 采样 的 序列 和 ,和 它 对 应 的 x 个 量化 值 总 ,。 令 d(xi, 3) 为 每 个 采样 (字母) 的 失真 
度量 ， 则 原 序列 和 量化 值 序列 之 间 的 失真 度量 就 是 它们 在 x 个 信 源 输出 采样 的 平均 值 ， 即 


~ ] 忆 
dX = 之 4 (xi Ri) (1-55) 


我 们 观察 到 信 源 就 是 个 随机 过 程 ， 因 此 X, 以 及 d(X,, 吝 ,) 都 是 随机 变量 。 我 们 现在 定义 失真 如 下 ， 

定义 1.15 定义 n 个 采样 的 序列 姜 , 和 它 对 应 的 4 个 量化 值 疙 之 间 的 失真 为 

D= EldG C1 = LY 可 dx 部] = Elda) (1.56) 
k=1 

这 里 假定 随机 过 程 是 平稳 的 。 

下 面 假设 一 个 无 记忆 信 源 具有 连续 输出 和 量化 输出 字母 表 羡 。 假 设 这 个 连续 振幅 的 概率 
密度 函数 为 p(x)， 而 每 个 字母 失真 度量 为 d(x, X)， 其 中 xEX 并 且 XYE 竺 。 我 们 下 面 引进 率 失真 函 
数 ， 它 给 出 在 预先 给 定 允 许 失真 度 的 情况 下 要 表示 信 源 输出 符号 的 时 候 ， 每 个 采样 所 需 的 最 
少 比 特 数 。 

定义 1.16 在 失真 率 小 于 或 等 于 DD 的 情况 下 用 于 表示 无 记忆 信 源 输出 X 的 最 小 速率 (以 比 
特 数 / 信 源 输出 为 单位 ) 称 为 率 失真 函数 RUD)， 定 义 为 

RD)= min_ 1X:X) (1-57) 


PORTETd( XED 


其 中 (站; 旺 ) 是 于 和 息 之 间 的 平均 互信 息 。 
我 们 现在 将 陈述 (没有 证 明 ) 与 率 失真 函数 有 关 的 两 个 定理 。 
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定理 1.3 基于 每 个 符号 的 平均 平方 误差 失真 度量 ， 用 于 表示 一 个 方差 为 0 的 离散 时 间 连 
续 振 幅 无 记忆 高 斯 信 源 的 最 小 信息 率 为 


1 了 
-上 Os Do (1-58) 
0 


D>o 
考虑 下 面 两 种 情况 : 
(1) 忆 > go: 对 于 这 种 情况 没有 必要 传递 任何 信息 ， 因 为 我 们 可 以 用 统计 独立 、 均 值 为 零 、 
方差 满足 D0 的 高 斯 噪声 采样 来 复原 采样 (失真 率 大 于 或 等 于 方差 )。 
(2) D<ot: 对 于 这 种 情况 随 着 万 的 增加 ， 每 个 输出 符号 的 比特 数 单调 递减 。 力 1-17 给 出 
了 率 失 真 画 数 的 平面 图 。 




















0 0.2 0.4 0.6 0.8 1 
图 1-17 RD) 相对 D/o 的 平面 图 
定理 1.4 能 够 将 具有 平均 失真 率 的 信 源 输出 复原 到 任意 接近 万 的 一 个 充分 条 件 是 存在 这 
样 一 种 编码 方案 ， 它 把 信 源 输出 映射 到 码 字 ， 使 对 任意 失真 率 DD 的 最 小 速率 为 每 采样 R(D) 
比特 。 
因此 ， 任 意 信 源 的 失真 函数 给 出 了 对 任意 可 能 失真 程度 的 信 源 速率 的 下 界 。 
定义 1.17 离散 时 间 无 记忆 高 斯 信 源 的 失真 率 函 数 (distortion rate function) 定义 为 


D,(R)=27* 0 (1-59) 





例 1.21 对 一 个 离散 时 间 无 记忆 的 高 斯 信 源 ， 失 真 率 (单位 为 dB) 作为 它 的 方差 的 函数 可 
表示 为 
10logio D,(R)= -6R+10logio of (1-60) 
因此 平均 平方 失真 率 以 每 比特 6dB 的 速度 递减 。 | 
一 个 离散 时 间 、 无 记忆 、 具 有 连续 振幅 、 均 值 为 零 、 方 差 为 2 的 信 源 的 率 失真 函数 关于 
平均 平方 误差 失真 度量 D 的 上 界 为 


R(D) < 请 logs (oO /D) 0O<D<o? (1-61) 


这 个 上 界 可 以 直观 地 理解 为 : 我 们 知道 对 于 一 个 给 定 的 方差 ， 零 均值 高 斯 随机 变量 展示 
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了 任意 随机 变量 可 以 达到 的 最 大 微分 炉 。 因 此 ， 对 于 一 个 给 定 的 失真 率 ， 每 个 采样 所 需要 的 
最 小 比特 数 以 此 高 斯 随机 变量 为 上 界 。 





下 面 一 个 显然 的 问题 是 : 对 量化 器 的 设计 什么 样 是 好 的 ? 有 没有 一 种 不 用 太 多 比特 就 能 
使 失真 达到 最 小 的 量化 器 的 构造 方法 ? 在 下 一 节 中 我 们 可 以 找到 这 些 问题 的 答案 。 


1.12 优化 量化 器 的 设计 


在 本 节 中 ， 我 们 来 看 一 下 优化 量化 器 的 设计 问题 。 现 在 考虑 一 个 连续 振幅 信号 ， 其 振幅 
不 是 均匀 分 布 ， 但 其 方差 符合 某 个 概率 密度 函数 p(x)。 我 们 想 设计 优 化 常量 量化 器 ， 它 能 使 量 
化 误差 gx 一 x 的 某 些 函数 达到 最 小 值 ， 其 中 X 是 x 的 量化 值 。 由 量化 造成 的 失真 率 可 表示 为 


Dp- f(x) p(x)dx (1-62) 


其 中 f(X 一 x) 是 误差 的 期 望 函 数 。 优 化 量化 器 就 是 能 通过 优化 选取 输出 水 平和 每 个 输出 水 平 所 
对 应 的 输入 区 间 使 D 达 到 最 小 值 的 函数 。 最 终 的 优化 量化 器 称 为 Lloyd-Max 量 化 器 。 对 一 个 L 
级 量化 器 ， 它 造成 的 失真 可 表示 为 


L Xk ~ 
D= > f(x —X)p(x) dx (1-63) 
po 


将 D 对 {xi} 和 {X} 求 微分 可 得 到 失真 最 小 化 的 必要 条 件 。 下 面 的 方程 组 就 是 微分 过 程 的 一 
个 结果 
f(Ki—x)= fXn — xX), k=1,2,..,L-1 


从 1-64 
人 Ga pd k=1,2,,L 和 


Xk 


对 fx) = 邓 ， 即 失真 率 的 平均 平方 值 ， 上 述 方程 组 简化 为 


x -= + 和 k=1,2,..,L-1 
a (1-65) 
[F's -2 pdx =0, 上 =12… 江 
厘 均匀 量化 器 在 失真 方面 得 到 了 优化 。 但 是 ， 每 个 量化 后 的 采样 都 用 了 相同 的 比特 数 来 
表示 (比如 R 比 特 / 采 样 )。 要 得 到 更 有 效 的 VLC 也 是 可 能 的 。 由 量化 得 到 的 离散 信 源 的 输出 用 
一 组 概率 六 来 描述 。 这 些 概率 又 用 于 设计 有 效 的 VLC ( 信 源 编码 )。 为 了 比较 不 同 非 均 匀 量 化 
器 的 性 能 ， 我 们 首先 把 失真 率 D 固 定 ， 然 后 比较 每 个 采样 所 需要 的 平均 比特 数 。 





例 1.22 考虑 高 斯 随机 变量 有 八 个 级 的 量化 器 。 这 个 问题 由 Max 首 先 在 1960 年 解决 。 该 随机 
变量 均值 为 零 ， 方 差 为 1。 对 于 平均 平方 误差 的 最 小 化 ， 避 和 白 的 值 如 表 1-3。 
对 于 表 中 的 这 些 值 ，D=0.0345， 即 一 14.62dB，。 

这 个 八 级 优化 量化 器 每 采样 的 比特 数 为 R= 3。 当 实行 霍 夫 曼 编码 时 ， 每 个 采样 需要 的 平 
均 比 特 数 为 Ry = 2.88bit/ 采 样 。 理 论 限 为 H(X) =2.82bit/ 采 样 。 
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表 1-3 优化 量化 和 霍 夫 轴 编码 


级 数 Xx 
2 一 1.0S0 
3 一 0.500 
4 0 
5 0.500 
6 1.050 
7 1.748 
8 oo 








1.13 随机 过 程 的 焙 率 


通过 对 信 源 编码 定理 的 扩展 ， 我 们 知道 使 用 平均 aH(X) 比 特 就 可 以 表示 n 个 独立 同 分 布 随 
机 变量 ,每 一 个 随机 变量 的 炉 是 H(X)。 但 是 实际 中 ， 我 们 经 常 遇 到 非 独 立 分 布 的 随机 变量 。 
如 果 随 机 变量 形成 了 一 个 平稳 随机 过 程 ， 情 况 又 如 何 呢 ? 
定义 1.18 一 个 随机 过 程 被 称 为 是 平稳 的 (Stationary) ， 如 果 对 于 任意 时 刻 的 任意 随机 
变量 序列 的 子 全 的 联合 分 布 不 变 ， 也 就 是 ， 
了 P (2 = xiv X, = XXX = xX) = P(X,, = X 
对 于 任意 的 时 间 平 移 m， 以 及 任意 的 XI], XJ,…,X,EX， 上 式 成 立 。 
定义 1.19 ”一 个 离散 的 随机 过 程 Xi, X;, … 被 称 为 马尔 可 夫 链 ， 或 者 马尔 可 夫 过 程 ， 如 有 果 ， 
对 于 n=1, 2,…: 
P (Xi 二 Xn | KX, = Xi X, 1 = Xi 1 = x)=P(X 
对 于 任意 的 Xj,X2，…, Xi Xnrl EX， 上 式 成 立 。 
马尔 可 夫 过 程 的 概率 密度 函数 可 以 写成 
Pp (vt pv) = p (Xx) p(x lx) px, xD) p(x, | xx) (1-68) 


如 果 给 定 一 串 n 个 随机 变量 ， 序 列 炳 的 增长 与 4 之 间 的 关系 是 一 个 非常 值得 探讨 的 问题 。 
为 了 说 明 这 种 增长 率 ， 我 们 定义 了 灶 率 这 个 概念 。 


定义 1.20 随机 过 可 的 烂 率 是 : 
H(X) = Mm, SHOX X2,-,X,) (1-69) 


= xy 4 = xX) (1-66) 


n+m 者 


nl 


Xnl | X, = Xx,). (1-67) 


如 果 此 极限 存在 的 话 。 





例 1.23 车 Xi,X,,X,… 是 独立 同 分 布 的 随机 变量 ， 则 相应 的 灶 率 是 
H(X) = Mim, 2 HOX ,Xa Xs) li ey 
但 是 如 果 X,X,, X;,… 是 独立 但 非 同 分 布 的 随机 变量 时 ， 则 


H(X1, Xa, ,KX,)= > HOX,) 


i=1 


= H(X1) 


因此 ， 灶 率 是 
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如 果 有 CC) 不 相等 ， 则 很 有 可 能 通过 选择 Xi ,XXX,… 上 的 分 布 序列 使 得 上 学 HCX) 的 极限 
不 存在 。 -_ 


定义 1.21 对 于 平稳 的 马尔 可 夫 链 而 言 ， 其 闹 率 是 : 
H(X)= lim HOX, Xe Xi)=lim HOXs | Xr) = H(X2 {X11). (1-70) 








例 1.24 考虑 这 样 的 两 状态 马尔 可 夫 链 ， 其 概率 转换 矩阵 为 
pe l-p ph (1-71) 
Pp2 1 








一 产 pi 
如 图 1-18 所 示 ， 对 于 平稳 分 布 ， 状 态 转换 > 
图 中 任意 割 集 的 净 概率 分 布 (net probability 1 e 有 1 
distribution) 是 0。 我 们 用 a 和 pb 表示 两 个 状态 的 和 一 
平稳 概率 。 因 此 ， 平 稳 分 布 为 图 1-18 两 状态 马尔 可 夫 链 的 状态 转换 图 
一 p2 = pi 1-72 
PIT+P2 04 pi1+p> 人 ) 
注意 到 a+B=1。 在 时 间 点 na 上 状态 X, 的 燃 是 
H(X,) = Ss Pz hi a (1-73) 
pi+p2 pi1+p2 
此 两 状态 马尔 可 夫 链 的 炉 率 是 








HO = HE NX)=— Hp)+— Ee Hp,) (1-74) 
pit+p; pit+p, 





1.14 图 像 压缩 简介 


在 本 章 前 面部 分 ， 我 们 讨论 了 用 于 压缩 的 数据 集 的 编码 。 应 用 这 些 技术 我 们 可 以 用 少 于 
源 数据 的 比特 数 来 储存 或 传输 一 个 数据 串 所 有 的 信息 内 容 。 传 送 源 数 据 所 有 信息 所 必需 的 最 
小 比特 数 决 定 于 信 源 的 粹 量 。 对 充分 大 的 源 数 据 组 ， 通 过 炳 编码 器 和 通用 编码 器 可 以 得 到 
好 的 压缩 率 。 在 本 节 中 我 们 介绍 用 于 图 像 储 存 和 传输 的 压缩 技术 。 

图 像 可 以 采样 和 量化 到 充分 精细 ， 使 用 二 元 数据 流 表 示 源 数据 时 ， 可 以 达到 令 人 满意 的 
程度 。 因 为 我 们 可 以 用 从 1 000 ~ 100 万 字 节 的 数据 来 表示 一 幅 图 ， 因 此 应 该 能 够 用 前 面 学 过 
的 技术 直接 对 那些 数据 进行 压缩 ， 以 便 储存 和 传输 。 首 先 ， 我们 考 虚 以 下 几 点 : 

(1) 高 质量 的 图 像 要 用 很 大 的 数据 集 表示 。 一 个 摄影 质量 的 图 像 可 能 需要 400 ~ 1000 万 比 
特 来 表示 。 为 了 使 这 些 大 文件 的 储存 和 传输 (特别 是 对 电影 ) 实际 可 行 ， 这 带 来 了 对 极 高 压 

(2) 为 了 做 到 在 视觉 上 接受 ,涉及 图 像 的 应 用 如 电视 、 电 影 、 计 算 机 图 形 用 户 界面 以 及 万 维 
网 (World Wide Web) 需要 快速 执行 和 跨 分 布 网 络 的 传输 ， 特 别 是 当 它 们 涉及 运动 图 像 时 。 

(3) 我 们 认为 图 像 有 比 其 他 类 型 的 数据 高 得 多 的 元 余 度 。 例 如 图 像 中 一 对 相 邻 的 水 平 线 几 


32 第 一 部 分 俗 息 论 和 和 信 源 编码 


. 平 完全 一 样 ， 而 书 中 相 邻 的 两 行 字 一 般 来 说 不 相同 。 

前 两 点 表明 对 图 像 数 据 的 运动 和 储存 需要 有 最 高 的 压缩 技术 。 第 三 点 表明 高 压缩 率 是 可 
以 达到 的 。 第 三 点 还 说 明 某 些 特 别 的 压缩 技术 可 以 将 图 像 数据 的 结构 和 性 质 利 用 起 来 。 可 以 
对 图 像 中 相 邻 像素 的 紧密 关系 充分 利用 来 改善 压缩 率 。 这 也 受到 实时 应 用 图 像 数 据 编码 和 译 
码 的 重要 影响 。 

另外 值得 注意 的 一 点 是 人 们 的 眼睛 对 图 像 近似 误差 有 很 高 的 容忍 度 。 因 此 压缩 图 像 数 据 时 
将 某 些 (对 于 人 的 眼睛 ) 不 很 重要 的 信息 忽略 掉 也 是 可 能 的 。 也 就 是 说 在 图 像 质 量 方面 做 一 
下 折 中 ， 可 以 获得 对 数据 大 小 的 很 大 缩 碱 。 相 对 于 前 面 讨论 的 无 损 压缩 (lossless compression) 
技术 ， 这 种 技术 叫做 有 损 压 编 (lossy compression)。 这 种 自由 性 不 可 以 用 于 财务 或 文本 等 类 
型 的 数据 ! 有 损 压 缩 只 能 用 于 图 像 和 声音 等 类 型 数据 ， 它 们 的 缺陷 可 以 被 人 们 在 视觉 和 听觉 
方面 的 包容 性 所 弥补 。 


1.15 无 损 压 缩 的 JPEG 标 准 


联合 图 像 专家 组 (Joint Photographic Experts Group, JPEG) 由 两 个 标准 机 构 一 欧洲 电信 
标准 组 织 (The European Telecommunication Standards Organisation, CCIT) 和 国际 标准 化 组 
织 (ISO) 联合 组 成 。 我 们 现在 先 考 虑 JPEG 图 像 压 缩 标准 中 的 无 损 压 缩 选项 ， 它 是 对 29 种 不 
同 的 图 像 压 缩编 码 系统 的 描述 。 为 什么 有 这 么 多 方法 呢 ? 因为 不 同 的 用 户 对 质量 相对 压缩 和 
压缩 相对 计算 时 间 的 要 求 有 很 大 的 差异 ， 于 是 委员 会 决定 提供 很 多 方法 供 选择 。 我 们 这 里 将 
只 简要 讨论 两 种 应 用 焙 编 码 的 方法 。 

这 里 讨论 的 两 种 无 损 JIPEG 压 缩 选 项 只 在 用 于 数据 的 炉 码 形式 上 有 所 不 同 。 用 户 可 选择 使 
用 霍 夫 曼 码 或 算术 码 。 我 们 对 算数 码 将 不 讨论 详细 内 容 ， 但 总 结 它 的 主要 特征 如 下 ; 

算术 码 就 像 霍 夫 曼 码 一 样 ， 通 过 利用 数据 的 概率 特征 ， 使 信息 在 传输 或 储存 时 使 用 了 比 源 
数据 流 更 少 的 比特 数 。 它 优 于 霍 夫 晤 码 的 基本 优势 是 当 数 据 只 用 到 较 小 的 字母 集 时 ， 它 更 接 
近 于 对 数据 流 压缩 的 Shannon 灼 界 。 原 因 是 当 符 号 出 现 的 概率 可 表示 为 2 的 军 的 分 数 时 ， 霍 
夫 曼 码 最 可 行 (最 大 压缩 率 )。 算 数码 的 构造 并 不 像 霍 夫 曼 码 一 样 与 这 些 特定 值 密切 相关 。 算 
术 码 的 编码 和 译 码 在 计算 量 上 比 替 夫 曼 码 要 大 。 算 数码 通常 比 霍 夫 曼 码 能 减 小 文件 5% ~ 10%。 

如 果 我 们 能 利用 前 一 个 像素 预测 下 一 个 像素 ， 则 可 以 得 到 一 些 压缩 。 这 样 做 我 们 只 需要 
传输 预测 相关 系数 (数值 的 不 同 ) 即 可 ， 而 不 需要 传输 整个 像素 。 用 于 无 损 IPEG 编 码 方案 来 
得 到 新 数据 的 预测 过 程 也 是 可 变 的 ， 但 是 在 此 情况 下 变化 并 不 依赖 于 用 户 的 选择 ， 而 是 以 一 
个 图 像 的 行为 基础 的 。 选 择 是 根据 预测 方法 能 对 整个 行 给 出 最 好 的 预测 来 做 出 的 。 

在 JPEG 编 码 标准 中 有 8 种 不 同 的 预测 方法 ， 其 中 之 一 (无 预测 选项 ) 不 是 用 作 无 损 编码 
选项 的 ， 这 就 是 我 们 在 这 里 讨论 的 。 另 外 7 种 可 以 分 为 下 面 几 类 : 

(1) 预测 下 一 个 像素 与 同一 行 中 的 前 面 的 有 相同 的 值 。 

(2) 预测 下 一 个 像素 与 前 一 行 中 相同 位 置 ( 即 上 面 ) 的 像素 有 相同 的 值 。 

(3) 预测 下 一 个 像素 的 值 与 前 面 的 、 上 面 的 以 及 上 面 的 前 面 的 像素 的 值 的 组 合 有 关 。 这 种 
组 合 之 一 就 是 取 三 个 值 的 平均 值 。 

用 于 JPEG 标 准 的 微分 编码 由 实际 图 像 像 素 值 和 预测 值 之 间 的 差 组 成 。 作 为 多 数 图 像 的 光 
渭 度 和 元 余 度 的 结果 ， 这 些 差 导致 了 较 小 的 代表 预测 中 典型 误差 的 正 数 和 负数 。 因 此 ， 对 小 
的 更 新 值 ， 这 些 值 的 概率 很 大 ， 而 对 大 的 更 新 值 它们 却 很 小 。 这 恰好 是 利用 焕 码 可 以 很 好 地 
压缩 的 一 类 数据 流 。 
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对 自然 图 像 的 典型 无 损 压缩 率 为 2:1。 这 种 压缩 已 经 很 可 观 了 ， 但 它 仍 不 能 解决 在 处 理 高 
质量 影像 时 所 遇 到 的 对 大 量 图 像 序列 的 储存 和 移动 问题 。 


1.16 有 损 压 缩 的 JPEG 标 准 


通过 研究 人 们 能 接受 的 图 像 失真 程度 ，JPEG 标 准 包括 了 一 些 复杂 的 有 损 压 缩 选项 。JPEG 
有 损 压 缩 算 法 包括 一 个 图 像 简 化 步骤 ， 它 去 掉 图 像 的 复杂 性 ， 代 价 是 失去 一 些 逼 真 程度 ， 紧 
接着 是 无 损 压缩 步骤 ， 它 基于 预测 过 让 以 及 霍 夫 曼 编 码 或 算数 编码 。 
有 损 图 像 简化 步骤 也 称 作 图 像 缩减 ， 它 是 建立 在 一 种 人 们 熟知 的 离散 余弦 变换 (DCT) 
运算 的 基础 上 的 ， 这 种 变换 的 定义 如 下 : 
N-l1M-—!l 


Yh [) = 之 | 2 (2+D Jeos( 0 C7+D] (1-75) 
i=0 /= 








其 中 输入 图 像 有 N 行 M 列 个 像素 ，y(i, j) 是 第 ; 行 第 j 列 的 像素 的 像素 亮度 ，Y(k, ) 是 DCT 和 矩阵 中 
第 k 行 第 / 列 上 的 DCT 系 数 。 所 有 DCT 的 乘法 都 是 按 实数 进行 的 ， 这 样 一 来 比 起 离散 傅 里 叶 变 
换 (DFT) 需要 少 一 些 的 乘法 运算 。 对 多 数 图 像 来 说 ,信号 能 量 大 都 集中 在 低频 率 部 分 ， 出 
现在 DCT 的 左上 和 角 。 右 下 角 的 值 表示 高 频 信 号 ， 因 此 具有 很 小 的 值 (通常 小 到 即使 忽略 ， 最 
多 也 只 会 造成 很 小 的 视觉 失真 ) 。 

在 JPEG 图 像 缩减 过 程 中 ， 将 DCT 应 用 到 图 像 的 8 x 8 的 像素 块 中 。 因 此 如 果 图 像 有 256 x 256 
的 像素 ， 我 们 把 它 分 为 32 x 32 的 方 
块 ， 每 一 块 都 有 8 x 8 的 像素 ， 它 们 
将 被 独立 地 人 处理。 每 一 块 的 64 个 像 
素 值 经 DCT 变 换 成 一 组 新 的 64 个 值 ， 
这 64 个 称 为 DCT 系 数 的 新 值 给 出 了 
一 种 全 新 的 方式 来 表示 图 像 。DCT 
系数 表示 图 像 子 块 的 空间 频率 。 








DCT 和 矩 阵 的 左上 角 是 低频 率 部 分 ， 
右 下 角 是 高 频率 部 分 ( 见 图 1-19)。 
最 左上 角 的 系数 称 为 DC 系数 ， 它 的 图 1-19 一 些 典 型 离散 余弦 变换 (DCT) 值 


值 比 起 8 乘 8 列 像素 块 的 平均 值 只 是 
几 分 之 一 。 其 余 系 数 称 为 AC 系 数 。 

到 现在 为 止 ， 由 DCT 我 们 还 没有 得 到 任何 缩减 。 但 是 ， 自 然 图 像 的 本 质 决 定 了 最 大 能 量 
(信息 ) 落 在 低频 率 部 分 而 不 是 高 频率 部 分 。 我 们 可 以 粗略 地 表示 高 频率 部 分 ， 或 把 它们 都 丢 
掉 ， 这 样 并 不 会 严重 影响 到 复原 的 图 像 的 质量 。 这 导致 了 大 量 的 压缩 (有 损 ) 。JPEG 有 损 压 
缩 算法 包括 下 列 运算 : 

(1) 首先 把 重量 最 低 的 变 为 零 。 

(2) 然后 对 剩余 的 重量 量化 〈 也 就 是 用 一 个 离散 码 中 某 个 最 接近 的 值 取代 ) ， 有 些 量 化 比 
其 他 的 更 粗略 些 ， 这 要 根据 观察 者 对 这 些 退化 的 敏感 程度 而 定 。 

对 所 有 图 像 块 ， 许 多 无 损 压 缩 步 又 用 于 由 上 述 DCT 和 量化 过 程 得 到 的 权重 数据 。 我 们 观 
察 到 表示 平均 图 像 亮度 的 DC 系数 从 一 个 8 x 8 像素 块 到 下 一 个 这 样 的 块 时 变化 很 惕 。 因 此 从 赂 
围 的 块 来 预测 这 个 值 通常 较 准 确 。 我 们 只 需要 传送 一 个 DC 系数 以 及 接 下 来 的 块 的 DC 系数 的 
差别 即 可 。 这 种 差别 也 可 以 用 信 源 编码 。 
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下 面 我 们 看 一 下 AC 系 数 。 我 们 首先 对 它们 进行 量化 ， 把 大 多 数 高 频率 的 系数 变 为 零 。 然 
后 用 一 种 锯齿 形 编码 方法 ， 如 图 1-20 所 示 。 锯 齿 形 编码 的 目的 是 逐渐 地 从 低频 率 到 高 频率 ， 
避免 在 数值 上 的 突然 跳跃 。 锯 齿 形 编码 将 产生 长 的 0 游程 ， 这 些 长 的 0 游程 对 RLE 后 跟 霍 夫 曼 
或 算术 编码 的 方法 很 理想 
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图 1-20 一 个 量化 后 用 锯齿 形 编码 的 例子 


JPEG 典 型 的 性 能 表现 是 ， 自 然 景 观 摄 影 质量 的 图 像 可 以 以 约 为 20:1 或 25:1 的 压缩 比率 来 
保存 。 可 用 的 质量 〈 即 不 用 于 关键 目的 ) 可 以 用 比率 为 200:1 ~ 230:1 的 压缩 得 到 。 


_1.17 评注 


1948 年 ，Shannon 发 表 了 他 的 里 程 碑 式 的 著作 “通信 的 数学 理论 ”"。 他 在 这 篇 关于 信息 论 
的 先驱 性 论文 的 开始 便 观 察 到 ， 通 信和 的 基本 问题 是 在 某 一 点 准确 地 或 大 概 地 重 现在 另 一 点 选 
取 的 消息 。 然 后 他 全 面 地 建立 了 信息 论 的 基础 ， 他 的 框架 和 术语 也 成 为 标准 。Shannon 的 理论 
直接 带 来 了 通信 工程 师 的 成 功 ， 这 也 刺激 了 今天 信息 技术 的 发 展 。Shannon 在 不 同 领域 发 表 了 
很 多 启发 性 的 、 具 有 重大 影响 的 论文 。 他 的 硕士 论文 “接替 和 开关 电路 的 符号 分 析 ” 用 布尔 
代数 建立 了 数字 电路 的 理论 基础 。 这 项 工作 有 着 广泛 的 重要 意义 ， 因 为 数字 电路 是 现代 计算 
机 和 通信 系统 运转 的 基础 。 

Shannon 因 为 他 的 兴趣 和 能 力 而 著称 。 一 个 人 所 共 知 的 故事 就 是 他 骑 着 独 轮 车 从 贝尔 实验 
室 大 厅 出 来 的 时 候 手 里 还 玩 着 杂 要 〈 像 杂技 运动 员 一 样 扔 着 好 几 个 球 )。 他 设计 并 建造 了 下 象 
棋 、 走 迷宫 、 杂 要 和 测 谎 机 器 。 这 些 活 动 都 证 明了 他 自己 强调 的 动力 多 来 自 好 奇 心 而 不 是 用 
途 。 用 他 自己 的 话说 就 是 “我 只 是 对 事物 是 如 何 构成 的 感到 好 奇 "。 

霍 夫 曼 码 是 美国 科学 家 D, A. Huffman 于 1952 年 创造 的 。 修 改 后 的 霍 夫 曼 编码 在 今天 应 用 
于 联合 图 像 专家 小 组 〈JPEG) 和 动态 图 像 专家 小 组 (Moving Picture Experts Group, MPEG) 
的 标准 中 。 

1970 年 ， 以 色 列 人 Abraham Lempel 和 Jacob Ziv 开 发 了 一 种 不 需 知道 信 源 元 素 发 生 概 率 的 
信 源 编码 技术 。UNIX 操 作 系统 的 压缩 和 解压 应 用 软件 就 用 了 这 种 算法 的 修订 版 本 。 由 
CompuServe 开 发 的 图 像 的 GIF 格式 (图 形 交 换 格式 ) 仅 涉 及 Lempel-Ziv-Welch(LZW) 广 义 编 码 
算法 在 图 像 数据 中 的 一 种 应 用 。 

最 后 ， 作 为 本 章 的 总 结 ， 我 们 需要 提 一 下 ， 信 息 论 之 父 Shannon 在 2001 年 2 月 24 日 去 世 了 。 
专家 们 在 发 表 于 《纽约 时 报 》 上 的 让 告 中 写 道 
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Claude Shannon， 数 学 家 ， 终 年 84 岁 
GEORGE JOHNSON 报 道 
Claude Elwood Shannon 博 士 ， 美 国 数学 家 和 计算 机 科学 家 ， 他 的 理论 英 定 了 
给 世界 带 来 逻 煌 的 电子 通信 网 络 的 基础 ， 于 星期 六 病逝 于 Medford, Mass:……… 


1.18 小 结 
事件 X= -x 的 自信 息 为 Ta) ~ log | 二 -me P(x,) 

、 Plx,ly., 

.< 和 y 之 间 的 互信 息 为 Joe;y)-log (2 


* 在 给 定 yY=y 的 条 件 下 ， 事 件 X=x 的 条 件 自信 息 为 


1 
T(xi1y;)= log (se =~log P(x;1y,) 
A 
。 两 个 随机 变量 X 和 Y 的 平均 互信 息 为 
P(xi,y;) 
I(X; Y) = SY Poy)og 


i=1 i= 
当 X 和 7 统计 独立 时 ， 有 7(X; 站 =0。 平 均 互信 息 满 足 1(X; 门 >0， 当 且 仅 当 X 和 7 统计 独立 
时 等 号 成 立 。 
“随机 变量 X 的 平均 自信 息 由 公式 
HCD = PCT) = -之 Peiog Ps) 
给 出 ，H(X) 又 称 为 燃 。 
* 平均 条 件 自信 息 叉 称 为 条 件 炉 ， 它 可 以 表示 为 
HOCXIY = SY Pe yog se PO, 
“我 们 知道 有 7Gx;; y= 7x) 一 7cy) 和 7(X; DD = HX) 一 HXID = HOY) 一 HCYIX)。 因 为 1(X; 切 
>0， 这 表明 AH(X) > ECX。 
。 具 有 联合 距离 P(x, y) 的 离散 随机 变量 对 (X, 了) 的 联合 燃 定 义 为 


H(XIW =- Pewy)og Porny) 


i=1 j=1 
* 有 OO)、H(X, 站 与 H(XI7) 之 间 的 链 式 法 则 关系 是 
H(X, Y)= H(X)+H(YIX) 
。 业 与 互信 息 之 间 的 关系 可 表示 为 
TX; DW = HOO—H(XIY = HOD—H(YIX) 
* 互 信息 与 联合 炉 之 间 的 关系 可 表示 为 
1(¥; DD) = HOOTHO —H(X, Y) 
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* 两 个 连续 随机 变量 X 和 Y 之 间 的 平均 互信 息 可 表示 为 
1 n= fp)pO log LDP qxdy 


p(X) p(y) 
。 连续 随机 变量 X 和 了 的 微分 业 表 示 为 


H(X)= -Jecoiog plx)dx 
。 连 续 随 机 变量 X 和 7 了 的 平均 条 件 糖 表示 为 


H(XIY)= f fplx,y)log plxly)dxdy 


,存在 码 字 长 度 为 m,< 坟 <… < 的 二 元 码 的 充分 必要 条 件 是 满足 前 组 条 件 2 <1。 前 
缀 码 的 效率 为 

*， 设 X 为 一 个 DMS 的 全 部 字母 的 集合 ， 它 具有 有 限 粹 8H(X)。 信 源 编码 定理 说 明 可 以 构造 满 
足 前 级 条 件 的 码 ， 使 它 的 平均 码 长 尺 满足 H(X) < R < H(X) +1。 对 符号 的 有 效 表示 导致 
了 数据 压缩 。 

。 霍 夫 曼 编码 的 期 望 码 字 长 度 的 范围 是 R<HOX)+1 

。Shannon-Fano-Elias 编 码 和 的 期 望 码 字 长 度 的 范围 是 R<H(CX)+2 

。Shannon-Fano-Elias 码 的 基本 概念 用 于 算术 码 的 编码 和 译 码 的 高 效 算法 中 。 算 术 码 需要 
把 文件 编码 成 0 和 1 之 间 的 实数 区 间 。 

。 霍 夫 加 编码 和 Lempel-Ziv 编 码 是 两 种 最 流行 的 信 源 编码 技术 。 不 同 于 霍 夫 曼 编码 的 是 ， 
Lempel-Ziv 技 术 不 依赖 于 信 涯 的 统计 特性 。Lempel-Ziv 技 术 产 生 定 长 码 ， 而 霍 夫 曼 码 是 
一 种 变 长 码 。 

。 游 程 编码 (RLE) 是 一 种 用 于 缩减 重复 字符 串 大 小 的 技术 。 这 种 重复 的 串 叫 做 一 个 游程 。 
多 数位 图 文件 格式 如 TIFF、BMP 及 PCX 都 支持 游程 编码 。 

。 失 真 表明 在 实际 信 源 采样 {zd 和 它们 对 应 的 量化 值 {} 之 间 差 别 有 一 种 度量 。 平 方 误 差 失 
真 可 表示 为 d(xi, 2) = (x 一 入 》。 一般 情 况 下 ， 一 种 失真 度量 可 以 表示 为 dx, 3) = |x 一 x 。 

。 表 示 一 个 失真 率 小 于 或 等 于 D 的 无 记忆 信 源 输出 所 需 的 最 小 速率 (以 比特 数 / 信 源 输出 
为 单位 ) 称 为 率 失真 函数 R(D)， 定 义 为 RD) = FE: 站， 其 中 7 总 ) 是 下 
和 六 之 间 的 平均 互信 息 。 

。 由 量化 导致 的 失真 可 表示 为 D=-f 7G-mDPpCDdr ， 其 中 f(x) 是 误差 的 期 望 函 数 。 优 
化 量化 器 能 通过 优化 地 选取 输出 水 平 及 对 应 每 一 个 输出 水 平 的 一 个 输入 范围 来 使 D 最 小 
化 。 最 终 的 优化 量化 器 称 为 Lloyd-Max 量 化 器 。 

。 随 机 过 程 Xi, X,, … 又 称 为 马尔 可 夫 链 或 马尔 可 夫 过 程 。 

PXI {X, = x Ki = Xn KX = x1) = POX 
其 中 n=1,2,…, Xi1, Xn XnEX。 
。 随 机 过 程 X 的 和 率 为 


min 
PCirhELdCX ,XI D1 


= Xi = Xn | X, = Xx) 
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H(X)= lim L HCX ,Xe ) 
mo 了 2 


n 


的 极限 存在 。 
。 稳 定 的 马尔 可 夫 链 的 焕 率 为 
HOX) = lim HOX, | Xe, 1) = lim HOX, IX,1) = HOX, 1X,) 


“量化 和 信 源 编码 技术 ( 霍 夫 曼 编码 、 算 数 编码 及 游程 编码 ) 在 对 图 像 压缩 的 JPEG 标 准 
中 得 到 应 用 。 


障碍 是 当 你 将 眼睛 从 目标 上 移 开 时 所 看 到 的 那些 可 怕 的 东西 。 


一 一 亨利 - 福特 (1863 一 1947) 


习题 


1.1 
1.2 
1.3 
1.4 
1.5 


考虑 一 个 信 源 概率 为 {0.30，0.25，0.20，0.15，0.10} 的 DMS。 求 信 源 烂 BH(XD。 

证 明 一 个 离散 信 源 在 它 的 输出 符号 等 概率 的 情况 下 其 燃 达 到 最 大 值 。 

证 明 不 等 式 m x<x 一 1。 画 出 曲线 = In x 和 ys=x 一 1 的 平面 图 以 表明 上 述 不 等 式 的 正确 性 。 

证 明 A(X; 妨 >0。 在 什么 条 件 下 等 号 成 立 ? 

有 一 个 信 源 X， 它 有 无 穷 多 个 可 能 的 输出 ， 它 们 出 现 的 概率 为 PC =27!1,，i=1,2,3,…， 这 

个 信 源 的 平均 自信 息 H(X) 是 什么 ? 

考虑 另 一 个 几何 分 布 的 随机 变量 X， 满 是 P(X)=p(1 一 p)”!，i==1, 2, 3,…， 这 个 信 源 的 平 

均 自信 息 H(2) 是 什么 ? 

X 表 示 抛 掷 一 个 硬币 直到 第 一 次 出 现 背 面 的 抛掷 次 数 。 

(1) 假设 抛 币 是 公平 的 ， 求 炉 玉 (XX)。 

(2) 假设 抛 币 是 不 公平 的 ， 一 次 抛 币 中 ， 缘 面向 上 的 概率 为 p。 求 炉 H. (X)。 

考虑 一 个 满足 后 缀 条 件 的 编码 ; 任意 一 个 码 字 不 是 其 他 码 字 的 后 缀 。 

(1) 这 种 码 字 是 否 惟一 可 译 码 的 ? 为 什么 ? 

(2) 你 是 否 能 把 后 缀 码 的 最 小 平均 码 长 和 使 用 相同 随机 变量 的 霍 夫 曼 编 码 的 平均 码 长 联系 
起 来 ? 请 做 深入 解释 。 

两 个 概率 质量 国 数 (probability mass function) p(x) 科 g(x) 的 相对 焕 或 者 Kullback-Leibler 

距离 定义 为 : 


D(p 1 9)= Zp (log [只 ] (1-76) 


(1 证明 DOp 119) 是 非 负 的 。 
(2) 证 明 Kullback-Leibler 距 离 不 满足 距离 的 另外 两 个 性 质 ， 即 对 称 性 和 三 角 不 等 式 。 
(3) 证 明 7 (X; 站 = Dp(x, yl p(x) 49(y))。 这 样 也 能 很 自然 地 证 明 出 互信 息 是 非 负 的 。 


1.10 假设 一 个 信 源 产生 独立 的 符号 (符号 均 属于 字符 表 {ai, a, cj) ， 对 应 的 概率 分 别 是 p, = 


0.4999999, p, = 0.4999999, p; = 0.0000002 。 
(1) 计算 此 信和 源 的 焕 H(X)。 

(2) 找到 此 信 源 的 最 优 编码 ， 并 且 计 算 码 长 的 期 望 值 。 

(3) 找到 此 信 源 的 第 二 种 扩展 (也 就 是 包含 两 个 符号 的 分 组 ) 的 最 优 编码 ， 计 算 码 长 的 
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期 望 值 ， 以 及 码 长 除 以 2 的 期 望 值 。 
(4) 证 明 : 如 果 对 此 信 源 的 长 度 为 N 的 分 组 进行 编码 ， 为 了 压缩 到 1% 的 炉 ，N 的 值 最 小 
为 5。 注 意 ， 如 果 使 用 式 (1-45)， 你 能 得 到 一 个 非常 宽松 的 上 界 。 
1.11 我 们 希望 对 一 个 字符 序列 进行 编码 ， 此 字符 序列 来 自 一 个 有 d + 3 个 字符 的 字母 表 。 我 们 
想 要 使 用 3 比特 长 的 码 字 来 分 别 对 符号 ai, a,, 43 进行 编码 ， 而 使 用 8 比特 长 的 码 字 来 分 别 对 
符号 as, aaau3s 进 行 编码 。 如 果 需 要 使 得 此 种 编码 能 惟一 解码 ， 四 4 的 六 大 值 天 多 少 ? 


1.12 考虑 一 个 只 取 整 数值 的 随机 变量 X， 满 足 P(X = 由 = 二 ， 其 中 4= > 一 1 
og”n Si n 
=2,3…，o 。 求 炉 H(X)。 
1.13 计算 概率 分 布 函 数 为 


全 


a™! 0<xr<a 

oo (否则 ) 0777) 
的 均匀 分 布 随机 变量 X 的 微分 燃 H(X)。 画 出 HCX) 相对 于 参数 a (0.1<a< 10) 的 平面 图 ， 
并 对 结果 进行 评论 。 

1.14 考虑 一 个 信 源 概率 为 {0.35，0.25，0.20，0.15，0.05} 的 DMS。 

(1) 给 出 此 信 源 的 霍 夫 曼 码 。 
(2) 计算 这 些 码 字 的 平均 码 长 及 。 
(3) 这 个 码 的 效率 9 是 多 少 ? 


1.15 再 次 考虑 信 源 概率 为 {0.35, 0.25,0.20, 0.15， 0.05} 的 DMS，。 
(1) 使 用 符号 1、2、3 给 出 此 信 源 的 三 元 霍 夫 曼 编码 。 
(2) 计算 这 些 码 字 的 平均 码 长 R， 并 把 它 和 三 元 情况 下 的 平均 码 长 作 比 较 。 
1.16 浪 虑 一 个 信 源 概率 为 {0.20，0.20，0.15，0.15，0.10，0.10，0.05，0.05} 的 DMS。 
(1) 给 出 此 信 源 的 一 种 有 效 定 长 码 。 
(2) 给 出 此 信 源 的 霍 夫 曼 码 。 
(3) 比较 这 两 种 码 并 给 出 评论 。 
1.17 一 个 DMS 只 有 三 个 输出 符号 ， 它 们 的 概率 为 {0.5，0.4，0.1}。 
(1) 给 出 此 信和 源 的 霍 夫 曼 码 并 确定 编码 效率 7。 
(2) 每 次 考虑 两 个 符号 时 给 出 此 信 源 的 付 夫 曼 码 并 确定 编码 效率 7。 
(3) 每 次 考虑 三 个 符号 时 给 出 此 信 源 的 霍 夫 曼 码 并 确定 编码 效率 7。 
1.18 对 一 个 业 为 H(X) 的 信 源 ， 证 明 B 一 符号 组 的 烂 为 BH(X)。 
1.19 设 X 和 了 是 取 值 分 别 为 xz, 碟 ,… ,和 yy1,y2,…, 3 的 随机 变量 。 令 Z=X+Y。 
(1) 证 明 H(ZIX)= H(YIX)。 
(2) 如 果 XX 和 了 Y 独 立 ， 解 释 H(Y) < H(Z) 和 H(X)<H(D)。 并 对 此 做 出 评论 。 
(3) 在 什么 条 件 下 H(D)= HCO) + HC(Y)? 
1.20 确定 下 列 比特 流 的 Lempel-Ziv 码 : 01001111100101000001010101100110000 从 码 字 流 中 
恢复 原来 的 序列 。 
1.21 考虑 对 四 进 制 数据 (符号; 0，1，2，3) 的 Lempel-Ziv 编 码 。 
(1) 对 下 面 的 四 进 制 数据 进行 编码 : 133002021113000022122233。 压 缩 率 
是 多 少 ? 压缩 率 定义 为 编码 后 的 比特 数 除 以 编码 前 的 比特 数 。 
(2) 接 下 来 ， 为 每 一 个 四 进 制 符号 用 相等 的 二 进 制 形式 表现 出 来 (0 一 00, 1 一 01, 2 一 10， 
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3 一 11)。 使 用 二 进 制 数 进行 Lempel-Ziv 编 码 ， 并 计算 压缩 率 。 
(3) 比较 (1) 和 (2) 的 结果 ， 并 进行 评价 说 明 。 
1.22 孝 虑 由 信 源 A 产生 的 比特 流 。 游 程 在 比特 流 中 出 现 的 概率 为 : 
27" l<r<n 
2 G1-78) 
其 中 r 是 游程 的 长 度 ，rn 是 游程 可 能 的 最 大 长 度 。 注 意 这 里 说 的 是 可 能 的 游程 ， 它 可 以 是 
1 的 重复 ， 也 可 以 是 0 的 重复 。 
(1) 设计 一 个 游程 编码 ， 找 出 它 所 提供 的 压缩 。 
(2) 假设 我 们 希望 对 游程 用 霍 夫 曼 编 码 进 行 编码 。 给 出 比比 特 流 的 编码 。 此 编码 提供 的 
压缩 是 多 少 ? 
1.23 我 们 接 下 来 尝试 游程 编码 的 另 一 种 方案 。 我 们 不 断 重复 游程 编码 过 程 ， 直 到 不 存在 更 多 
可 能 的 压缩 为 止 。 使 用 这 种 方案 ， 如 果 我 们 希望 对 某 一 个 游程 ， 比 如 x 个 1 进行 编码 ， 最 


大 可 能 的 压缩 是 多 少 ? 
1.24 求 满足 p=0.5 的 符合 Bernoulli 分 布 的 随机 变量 X 的 率 失 真 函数 R(D)=min 1(X; 各， 其 中 失 
真 由 下 列 函 数 给 出 ， 
0 X= 充 
dx,X)=41 x=]1. X=0 (1-79) 
% X=0,X=1 





1.25 考虑 一 个 在 {1, 2,…, m} 上 均匀 分 布 的 信 源 XX。 求 这 个 信 源 由 下 式 定 义 的 汉 明 人 失真 
(Hamming distortion) 的 率 失真 图 数 ; 


(1-80) 


上 机 习题 


1.26 写 一 个 程序 能 在 给 定 概率 的 条 件 下 实现 霍 夫 曼 编码 。 它 应 该 产生 码 字 并 算出 编码 效率 。 
1.27 修改 上 述 程 序 使 它 能 将 n 个 信 源 符号 分 为 一 组 ， 然 后 产生 霍 夫 曼 码 。 对 下 述 信 源 符号 的 
概率 (0.55, 0.25, 0.20) 画 出 编码 效率 相对 4 的 平面 图 。 对 什么 样 的 n 值 ， 编 码 效率 可 以 
比 0.9999 还 要 好 ? 对 下 述 信 源 符号 概率 重复 上 述 练习 :; {0.45,0.25,0.15,0.10,0.05}。 
1.28 写 一 个 执行 Lempel-Ziv 算 法 的 程序 。 该 程序 的 输入 可 以 是 英文 字母 。 它 应 该 将 字母 转化 
为 它们 的 ASCII 码 然后 进行 压缩 。 它 应 该 输出 压缩 结果 。 用 这 个 程序 求 对 下 列 的 字符 串 
所 得 到 的 压缩 : 
(1) The Lempel Ziv algorithm can compress the English text by about fifty five percent. 
(2) The cat cannot sit on the canopy of the car. 
1.29 写 一 个 程序 对 比特 序列 执行 游程 编码 (RLE) ， 并 给 出 编码 后 的 输出 以 及 压缩 率 。 若 下 
列 序列 是 该 程序 的 输入 ， 它 的 输出 是 什么 : 
11000000001111000001111111111t1111111100000110000000 


1.30 假设 对 于 某 一 种 通信 ， 我 们 只 使 用 三 个 字母 A、B、C。 它 们 出 现 的 概率 分 别 是 {0.5, 0.3， 
0.2}。 但 是 ,使 用 这 些 字 符 不 是 相互 独立 的 。 双 字母 出 现 概 率 分 别 是 P(AB)=0.25， 
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P(BC)=0.05, P(CA)=0.35, P(BA)=0.15，P(CB)=0.05,P(AC)=0.15。 我 们 称 考 虑 双 字 符 的 

霍 夫 曼 编码 为 伪 马 尔 可 夫 霍 夫 曼 编码 (PMH ) 。 

(1) 设计 一 个 针对 此 通信 场景 (考虑 双 字 符 ) 的 PMH 编 码 。 编 写 一 个 计算 机 程序 ， 输 入 
一 些 如 上 的 概率 ， 输 出 一 个 对 应 的 PMH 编 码 。 

(2) 编写 一 个 对 应 此 种 情况 的 算术 编码 ， 并 和 PMH 编 码 进行 比较 。 

写 一 个 程序 ， 它 可 以 接受 2" 级 灰 度 的 图 像 〈 每 个 像素 "比特 ) ， 并 执行 下 列 运算 : 

(1) 把 它 分 为 8 x 8 的 像素 块 。 

(2) 在 每 个 块 上 执行 DCT 变 换 。 

(3) 通过 只 保留 m 个 最 高 比特 位 (MSB) 将 DCT 系 数 进行 量化 ， 其 中 m 拟 n。 

(4) 执行 锯齿 形 编码 然后 执行 游程 编码 。 

(5) 对 上 述 得 到 的 比特 流 执行 霍 夫 曼 编码 (考虑 一 种 合理 的 计算 符号 概率 的 方法 )。 

(6) 计算 压缩 率 。 

(7) 热 行 解压 〈 即 第 5 步 返回 到 第 1 步 的 逆 操 作 ) 。 用 该 程序 对 不 同 的 mm 值 实行 图 像 压 缩 。 当 
m 达 到 什么 样 的 值 时 ， 原 图 像 和 压缩 图 像 间 的 差别 不 能 被 察觉 到 ? 
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实验 者 们 认为 那 是 一 个 数学 定理 ， 而 数学 家 们 则 相信 那 是 个 实验 事实 。 





Lippman, Gabriel (1845—1921) 
2.1 引言 


在 第 1 章 中 我 们 看 到 多 数 自然 信 源 都 有 固有 的 宛 余 度 ， 因 此 通过 不 同 信 源 编码 技术 将 这 
些 元 余 去 掉 以 实 现 对 数据 的 压缩 是 可 能 的 。 当 信 源 符号 可 以 用 尽量 少 的 比特 数 来 有 效 地 表 
示 以 后 ， 我 们 通过 信道 (如 电话 线 、 光 纤 等 ) 来 传输 这 些 比特 流 。 这 些 比 特 可 能 被 原样 传 
输 (基带 通信 ) ， 或 经 过 调制 后 传输 ( 通 带 通信 )。 令 人 遗憾 的 是 ， 现 实生 活 中 的 所 有 信道 
都 有 噪声 。 噪 声 这 个 术语 是 指 那些 对 传输 和 处 理 通 信 系 统 中 的 有 用 信和 号 造成 干扰 的 无 用 波 。 
噪声 的 来 源 可 能 是 外 界 的 〈 如 大 气 噪 声 、 人 工 噪声 等 ) ， 也 可 能 是 内 在 的 〈 如 热 噪声 、 放 射 
噪声 等 )。 结 果 是 在 接收 端 得 到 的 比特 流 很 可 能 与 原来 传输 的 不 一 样 。 在 通 带 通信 中 ， 解 调 
器 处 理 的 是 信道 弄 损 的 波形 ， 这 些 波 形 再 化 简 为 一 个 矢量 或 向 量 来 近似 表示 传输 的 数据 符 
号 。 检 波 器 在 解 调 器 之 后 判决 原来 传输 的 比特 是 0 还 是 1。 这 种 方法 叫 硬 判决 译 码 (hard 
decision decoding)。 在 译 码 器 上 的 这 种 判决 过 程 与 两 个 等 级 的 二 元 量化 很 相似 。 如 果 在 量 
化 中 有 多 于 两 个 的 等 级 ， 则 检 波 器 实施 的 方法 称 为 软 判 决 译 码 (soft decision decoding)。 

使 用 硬 判 决 译 码 会 在 接收 端 造 成 不 可 挽回 的 信息 丢失 。 假 设 调制 器 发 送 的 只 是 二 元 信和 号 ， 
而 解 调 器 接收 到 Q@ 个 符号 的 字符 ， 再 假定 量化 器 的 使 用 如 图 2-1a 所 示 ， 这 里 我 们 有 Q=8。 这 
样 的 信道 称 为 二 元 输入 Q 元 输出 离散 无 记忆 信道 (discrete memoryless channel，DMC)。 这 种 
对 应 的 信道 如 图 2-1b 所 示 。 译 码 器 的 性 能 取决 于 量化 器 的 表示 级 数 的 位 置 ， 而 量化 器 的 表示 
级 数 又 取决 于 信号 水 平和 噪声 功率 。 相 应 地 ， 为 了 实现 一 个 多 级 量化 器 ， 解 调 器 必须 采用 自 
动 增益 控制 技术 。 很 明显 构造 这 样 的 译 码 器 比 硬 判 决 译 码 器 要 复杂 得 多 。 但 是 软 判决 译 码 比 
硬 判决 译 码 有 着 明显 的 改善 。 


输出 








a) 多 级 量化 器 传输 特征 b) 信道 转移 概率 图 
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数字 通信 工程 师 们 必须 考虑 三 个 因素 : 传输 信号 的 功率 、 信 道 带 宽 以 及 通信 系统 的 可 靠 
性 (在 比特 误差 率 方面 )。 信道 编码 允许 我 们 牺牲 上 面 的 一 种 因素 (信号 功率 、 带 宽 或 可 靠 性 ) 。 
在 本 章 中 ， 我 们 将 学 习 在 有 噪声 的 情况 下 如 何 得 到 可 靠 的 通信 。 我 们 将 问 自己 这 样 的 问题 : 
在 一 个 给 定 带宽 和 信 品 比 (SNR) 的 信道 上 每 秒 钟 能 传输 多 少 比特 ? 为 此 我 们 首先 介绍 几 个 
信道 模型 。 


2.2 信道 模型 


我 们 已 经 看 到 了 最 简单 的 信道 模型 一 一 二 元 对 称 信道 (Dinary ymmetric hannel，BSC ) 。 
若 调 制 器 采用 的 是 二 元 波形 ， 而 检 波 器 用 硬 判决 ， 那 么 信道 可 以 看 做 是 在 发 送 端 输 入 一 个 二 
元 比特 羧 ， 在 接收 端 输 出 另 一 个 比特 诚 。 图 2-2 表 示 出 了 这 种 模型 。 
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| 联合 信道 


有 er 机 机 


图 2-2 一 种 联合 的 离散 输入 离散 输出 信道 (由 调制 器 和 解 调 器 / 检 波 器 组 成 ) 
联合 的 离散 输入 离散 输出 信道 (discrete-input, discrete-output channel) 可 描述 为 一 个 可 
能 的 输入 集 X= {0, 1}、 一 个 可 能 的 输出 集 Y= {0, 1}， 以 及 将 可 能 输出 与 将 可 能 输入 相关 联 的 
条 件 概 率 。 假 设 信道 中 的 噪声 以 错误 概率 p 在 二 元 序列 的 传输 中 产生 独立 错误 
P(Y=01 X=1)=P(Y= 1 X=0)=p 
P(Y=1| X=1)=P(Y=0|X=0)=1-p | (2-1) 


图 2-3 所 示 的 就 是 一 个 BSC。 





0 0 





图 2-3 一 个 二 元 对 称 信道 《BSC ) 

BSC 是 离散 输入 离散 输出 信道 的 一 种 特殊 情况 。 设 信道 输入 是 gq 元 符号 ， 即 X= {xo, x1,，…， 
x,_1}， 在 接收 端 检 波 器 的 输出 为 G 元 符号 ， 即 Y= {yo, y1,…, ye-1}。 我 们 假定 信道 和 调制 过 程 
都 是 无 记忆 的 。 那 么 输入 输出 之 间 可 以 由 gQ 个 条 件 概率 相 联 系 : 

其 中 i=0， 1,……， QO— 1 有 8j=0, 1， “4 1 。 这 种 信道 称 为 离散 无 记忆 信道 (DMC) ? 如 图 2-4 所 示 。 
定义 2.1 定义 条 件 概率 PCyjz) 为 信道 转移 概率 ， 并 记 为 pj。 

定义 2.2 “描述 一 个 DMC 的 条 件 概率 {Px)} 可 以 用 乱 阵 形式 P==[p 给 出 。P 称 为 信道 的 


概率 转移 矩阵 (probability transition matrix)。 
到 目前 为 止 ， 我 们 讨论 了 具有 离散 输入 和 离散 输出 的 单个 信道 。 同 样 可 以 在 发 射 器 和 接 
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收 器 之 间 实 现 多 信道 。 通 过 在 发 射 器 端 和 接收 器 端 使 用 多 个 天 线 ， 这 种 信道 可 以 在 无 线 通信 
环境 中 实现 。 下 面 是 四 种 显著 的 组 合 。 

(1) 单个 输入 单个 输出 (SISO) : 这 种 是 常见 的 无 线 配 置 ， 即 在 发 射 端 和 接收 端 均 使 用 一 
个 天 线 。 

(2) 单个 输入 多 个 输出 〈SIMO) : 这 种 在 发 射 端 使 用 单个 天 线 ， 但 在 接收 端 使 用 多 个 天 线 。 

(3) 多 个 输入 单个 输出 (MISO): 这 种 在 发 射 端 使 用 多 个 天 线 ， 但 在 接收 端 使 用 单个 天 线 。 

(4) 多 个 输入 多 个 输出 (MIMO) : 这 种 在 发 射 端 和 接收 端 均 使 用 多 个 天 线 。 

考虑 MIMO 系 统 ， 其 中 发 射 端 贿 天 线 数目 是 Mr， 接收 端 天 线 数目 是 Mr。 我 们 用 h(t, 0 表示 第 
j(j=1, 2,…, M7) 个 发 射 天 线 和 第 i(i=1, 2, …, MP 个 接收 天 线 之 间 的 脉冲 响应 。 注 意 我 们 考虑 的 
是 波形 通道 ， 调 制 器 / 解 调 器 不 属于 波形 通信 部 分 。MIMO 信 和 道 能 够 用 Mx x M1 矩阵 表示 如 下 : 


RTt) 让 27 及 hm (tt) 
hy 1(7,t) hyolt,t) hy Mr (7,t) 
: : ,, : (2-3) 
HI(1, 1) = : : : 
RMRa(E 1 hr,2(T,t) " hMmar,Mr (Tt) 


变量 t 用 来 表示 信道 变化 的 了 时间。 如 果 第 ;个 发 射 天 线 发 送信 号 s; (?}， 则 第 i 个 接收 天 线 所 收 
到 的 信号 是 


Ad 
Yi (t) 一 She b)s; (t), i= 1,2, yy AR (2-4) 
j=1 


MIMO 信 道 的 输入 输出 关系 可 以 用 插 阵 符号 表示 为 
y(D = H(T, Ds (1) (2-5) 
其 中 ，s(D = [51(D), ss(D),…，Swr(D]'， CD = [y1(D), yD yur (D's 
每 一 对 发 射 器 和 接收 器 之 间 的 每 一 条 链 路 都 可 以 独立 地 用 离散 无 记忆 信道 表示 。 





2.3 信道 容量 
考虑 一 个 DMC， 它 的 输入 字符 集 为 X= {xo, xz …, -1}， 输 出 字符 集 为 Y= {yo, y1,，…， 
y，1!}。 让 我 们 用 PCyilx)) 表示 信道 转移 概率 的 集合 。 输 出 字 yo 
符 集 集 合 ? 关 于 输入 字符 集 X 的 平均 互信 息 为 〈 见 1.2 市 ) yn 
1 Plyilx)) 
i 2-6 A 
n- EE i=0 A [7) 8 p(y,) 人 9 | 


六 道 转移 概率 POyilxj) 决定 于 信道 的 特征 (特别 是 信道 
中 的 噪声 )。 但 是 输入 符号 的 概率 PCo) 受 离散 信道 编码 器 的 。 1 
控制 。 平 均 互信 息 7(X; 六 的 值 在 输入 符号 概率 集 上 达到 的 
最 大 值 是 仅仅 依赖 于 信道 转移 概率 PCy|e) 的 一 个 量 ， 这 个 yo 
量 称 为 信道 容量 。 四 2.4 一 个 具有 a 元 输入 和 Q_ 元 
定义 2.3 ”一 个 DMC 的 容量 定义 为 每 一 次 使 用 该 信道 时 输出 的 离散 无 记忆 信道 (DMC) 
的 最 大 平均 互信 息 ， 其 中 最 大 值 是 在 所 有 可 能 的 输入 概率 上 求 得 的 ，8 
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C= max TX 7) 
*j) 
g-1 r-1 Plyilx;) (2-7) 
= max Plx )Plylxr Jlog———— 
Plx;) 之 i=0 人 bik) 8 Ply.) 


1(X; 站 的 最 大 值 是 在 下 列 约束 条 件 下 求 得 的 
g-1 
P(x) >0, 并且 2 P(x,)) 二 1] 
j=0 


信道 容量 的 单位 是 每 次 信道 使 用 的 比特 数 (只 要 对 数 的 底数 为 2)。 





例 2.1 考虑 一 个 BSC， 它 的 信道 转移 概率 为 
P(O) = p = P(110) 
由 对 称 性 可 知 ， 信 道 容量 C= max ZX; 六 在 p= 二 0.5 时 可 取得 最 大 值 。 由 式 (2-7) 可 得 到 BSC 的 信 
道 容量 为 
C=1+plog, p+(1—p)logs(l —p) 
H(p)=-p log» PpP-(l~p)log(l—p) 
则 可 以 将 二 元 对 称 信道 的 容量 写 为 


C=1- Hp) 
图 2-5 给 出 了 信道 容量 相对 p 的 平面 1 
图 。 从 该 平面 图 中 可 以 观察 到 下 述 结果 : 
(1) 当 P= 0 时 〈 即 无 噪声 信道 )， 信 08 
道 容量 为 所 期 望 的 每 次 使 用 1 比特 。 每 
次 我 们 用 此 信道 时 ， 可 以 成 功 传输 1 比 0.6 
特 信息 。 唱 
(2) 当 p ==0.5 时 ， 信 道 容量 为 09， 即 从 0.4 
输出 结果 得 不 到 任何 关于 输入 的 信息 。 
它 等 同 于 信道 断 开 时 的 情况 ， 我 们 可 以 02 
干脆 放弃 信道 而 用 挤 硬 币 的 方法 来 确定 
发 送 的 是 什么 。 0 一 
(3) 当 0.5<p< 1 时， 信道 容量 随 p 的 | 
增加 而 增加 。 在 此 情况 下 ， 我 们 仅 在 BSC . 
的 输出 端 将 0 和 1 互 换 就 行 了 。 图 ?5 BSC 的 信道 容量 


(4) 当 p=1 时 〈 即 每 个 比特 都 被 信道 改变 了 ) ， 信 道 容量 为 所 期 望 的 每 次 使 用 1 比特 。 在 此 
情况 下 ， 只 需要 做 与 信道 效果 相反 的 事 就 行 ， 即 把 每 个 输出 比特 反 过 来 。 
(5) 由 于 p 是 关于 信 噪 比 (SNR) 的 单调 递减 函数 ，BSC 容 量 则 是 SNR 的 单调 递增 函数 。 





有 了 信道 容量 的 概念 后 ， 我 们 现在 需要 把 它 同 信道 的 可 靠 通信 联系 起 来 。 到 目前 为 止 ， 
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我 们 只 讲 了 信道 在 每 次 使 用 时 能 传输 的 比特 数 。 但 每 秒 钟 所 能 传输 的 比特 数 又 是 多 少 呢 ? 为 
了 回答 这 个 问题 ， 我 们 引入 信道 编码 的 概念 。 


2.4 信道 编码 


所 有 现实 生活 中 的 信道 都 受到 噪声 的 影响 。 噪 声 造 成 数字 通信 系统 中 输入 和 输出 数据 序 
列 间 的 不 符合 (错误 )。 一 个 典型 噪声 信道 的 比特 错误 概率 可 以 高 达 10-?。 这 表明 在 这 个 信道 
上 平均 每 传输 100 比 特 ， 就 有 一 比特 被 改变 了 了。 对 大 多 数 应 用 来 说 ， 这 样 的 可 靠 程 度 远 不 能 满 
是 要 求 。 不 同 应 用 对 可 靠 程度 (服务 质量 的 一 项 内 容 ) 的 要 求 也 不 同 。 表 2-1 列 出 了 不 同 应 用 
可 接受 的 比特 错误 率 。 


表 2-1 不 同 应 用 可 接受 的 比特 错误 率 





应 用 错误 概率 
语音 电话 10 
声乐 数据 10- 
电子 邮件 、 电 子 报 纸 107° 
因特网 访问 10 
可 视 电 话 、 高 速 计算 10-? 





为 了 能 得 到 如 此 高 的 可 靠 性 ， 我 们 可 以 借助 信道 格式 编码 。 信 道 编码 的 基本 目标 是 增加 
数字 通信 系统 的 抗 噪声 能 力 。 这 可 以 通过 可 控制 地 在 传输 的 数据 流 中 加 入 元 余 度 来 实现 。 

在 信道 编码 中 ， 我们 把 进来 的 数据 序列 映射 到 信道 输入 序列 。 这 一 编码 过 程 由 信道 编码 
器 完成 。 然 后 将 编码 后 的 序列 通过 有 噪 信道 传输 。 在 接收 端 信道 输出 序列 被 反映 射 到 输出 数 
据 序列 ， 这 称 为 译 码 过 程 ， 由 信道 译 码 器 完成 。 编 码 器 和 译 码 器 都 受 设计 者 控制 。 

正如 已 经 提 到 的 ， 编 码 器 以 预先 设计 好 的 方式 引进 宛 余 度 ， 译 码 器 利用 这 个 元 余 度 以 便 
尽 可 能 精确 地 恢复 原来 信 源 序列 。 因 此 信道 编码 使 在 不 可 靠 (有 噪声 ) 的 信道 中 实现 可 靠 通 
信 成 为 可 能 。 信 道 编码 又 叫做 错误 控制 编码 (error control coding)， 我 们 将 可 互 换 地 使 用 这 
些 术语 。 可 以 注意 到 信 源 编码 通过 减少 元 余 度 以 提高 效率 ， 而 信道 编码 则 在 控制 下 添加 元 余 
度 来 提高 可 靠 性 。 

我 们 首先 看 到 的 一 类 信道 码 叫 做 分 组 码 (block code)。 在 这 类 码 中 ， 进 入 的 消息 序列 首 
先 分 成 一 系列 的 组 ， 每 个 组 的 长 度 为 比特。 每 个 比特 长 信息 组 再 由 信道 编码 器 对 应 到 一 个 n 
比特 组 ， 其 中 n>>k。 这 表明 对 任意 :比特 的 信息 ， 有 “(nn 一 k) 元 余 的 比特 添加 进来 。 比 率 

天 
称 为 码 率 (code rate)。 任 何 编码 方案 的 码 率 自然 地 要 小 于 1。 小 的 码 率 意味 着 每 个 组 有 更 多 
的 元 余 比 特 ， 相 应 地 有 更 高 的 编码 负载 。 这 样 可 能 会 减轻 噪声 的 影响 ， 但 也 同时 降低 通信 率 ， 
因为 我 们 最 终 要 传输 更 多 的 元 余 比 特 和 更 少 的 信息 比特 。 我 们 所 面临 的 问题 是 是 否 存在 一 种 
编码 方案 使 消息 比特 发 生 错误 的 概率 可 以 任意 小 ， 而 码 率 又 不 会 太 小 呢 ? 答案 是 肯定 的 ， 它 
首先 由 Shannon 在 他 的 信道 容量 的 第 二 个 定理 中 给 出 。 我 们 很 快 就 将 学 到 这 个 定理 。 

让 我 们 在 讨论 中 引入 时 间 的 概念 。 我 们 希望 研究 这 样 的 问题 ， 比如 通过 一 个 有 噪 信道 一 
秒 钟 可 以 传输 多 少 比特 使 比特 错误 率 达 到 任意 低 ? 假设 DMS 有 信 源 字符 集 X、 业 为 每 信 源 符 
号 五 CO bit， 而 且 信 源 每 7, 秒 产 生 一 个 符号 。 那 么 信 源 的 平均 信息 率 为 每 秒 H(X)/T, bit。 让 我 们 
假设 信道 可 以 每 7T. 秒 使 用 一 次 ， 而 信道 容量 为 每 次 信道 使 用 C 比 特 。 那 么 单位 时 间 的 信道 容量 


r 


(2-8) 
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为 每 秒 钟 C/T. bit。 我 们 现在 阐述 Shannon 的 第 二 定理 有 了 品 编码 定理 ， 又 叫做 信道 编码 定理 。 


定理 2.1 信道 编码 定理 (有 了 噪 编码 定理 ) 
(1) 设 一 个 DMS 信 源 字符 集 X 的 炳 为 每 信 源 符号 H(X) 比特 ,而 且 信 源 每 T, 秒 产生 一 个 符号 。 
设 一 个 离散 无 记忆 信道 的 容量 为 C， 且 每 隔 T. 秒 使 用 一 次 。 著 
H(X) CC 
mT “7 (2-9) 





则 存在 一 个 编码 方案 ,使 信 源 输出 可 以 通过 该 有 噪 信道 传 输 并 能 以 任意 低 的 错误 概率 恢复 。 
(2) 相反 地 ， 若 
H(X) C (2-10) 


D 一 
Tn “LT 


则 通过 该 信道 传输 的 信息 不 可 能 以 任意 小 的 错误 概率 恢复 。 
参数 去 称 为 临界 率 (critical rate ) 。 


六 四 央 是 信和 这 中 的 一 个 非常 重要 的 结果 。 该 定理 说 明了 信道 容量 C 是 通过 有 噪 DMS 
言 道 实现 可 靠 通信 的 基本 界限 。 应 该 注意 到 信道 编码 定理 告诉 我 们 存在 一 些 在 有 噪 环境 下 实现 
可 靠 通信 的 码 ， 但 遗憾 的 是 它 没 给 出 构造 这 些 码 的 方法 。 因 此 信道 编码 仍然 是 一 个 很 活跃 的 研 
究 领域 ， 因 为 人 们 仍然 在 搜寻 着 越 来 越 好 的 码 。 从 下 一 章 开始 我 们 将 学 习 一 些 较 好 的 信道 码 。 








例 2.2 ”考虑 一 个 DMS 信 源 ， 它 每 秒 等 可 能 地 (p=0.5) 产生 一 个 二 元 符号 。 该 二 元 信 源 
的 炳 为 

EDJ=-Pplosgzp-(1- 六 logz(1- 六 =1(bit) 
该 信 源 的 信息 率 为 


HOO _ 到 (bit/s) 





A 


假设 我 们 想 从 一 个 有 嘱 信 道 传输 该 信 浙 符号 ， 信 源 序列 将 被 用 于 码 率 为 /的 信道 编码 器 。 
该 信道 编码 器 每 7. 秒 使 用 一 次 该 信道 来 传送 编 过 码 的 序列 。 我 们 想得到 可 靠 的 通信 (出 错 概 
率 小 到 所 期 望 的 值 )。 根 据 信道 编码 定理 ， 若 


1 _C (2-11) 


通过 适当 选取 一 种 信道 编码 方案 ， 我们 可 以 使 错误 概率 小 到 所 期 望 的 值 ， 从 而 得 到 可 靠 的 通 
信 。 该 编码 器 的 码 率 可 以 表示 为 


ro- (2-12) 
到 
因此 ， 实 现 可 靠 通信 的 条 件 可 以 写 为 
六 < C (2-13) 





因此 ， 对 一 个 BSC 来 说 ， 不 管 信 道 的 噪声 有 多 大 ， 总 可 以 找到 一 种 信道 编码 方案 使 码 率 7 
和 C， 从 而 实现 可 靠 通信 ! 当然 我 们 可 以 说 至 少 存在 这 样 的 一 种 码 ， 但 要 找到 这 种 码 不 一 定 轻 
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而 易 举 。 我 们 以 后 将 看 到 ， 信 道中 噪声 的 程度 将 在 信道 容量 或 码 率 上 表现 出 来 。 





例 2.3 ”考虑 一 个 转移 概率 p= 10-? 的 BSC。 这 样 的 错误 率 在 无 线 信道 中 很 典型 。 在 例 2.1 中 ， 
我 们 看 到 一 个 BSC 的 信道 容量 由 下 述 公式 给 出 ; 
C=1+Pp logp+ (~-p) log,(1—p) 


将 p=10 “的 值 代 入 ， 得 到 信道 容量 C=0.919。 从 前 面 的 例子 我 们 可 以 肯定 至 少 存 在 一 种 码 率 
rs 和 0.919 的 编码 方案 保证 〈 非 零 ) 出 错 概率 如 预期 般 小 。 


例 2.4 考虑 每 个 消息 比特 都 重复 "次 的 重复 码 ， 其 中 "是 一 个 奇数 。 例 如 当 n= 3 时 ， 我 们 
有 如 下 的 对 应 关系 : 
0—000， 1 一 111 
类 似 地 ， 当 n=5 时 ， 我们 有 下 列 的 对 应 关系 ; 
0 一 00000; 1 一 11111 
注意 组 长 为 x 的 重复 码 的 码 率 为 
r= (2-14) 


n 


译 码 策略 为 : 若 在 一 个 收 到 的 长 为 "的 组 中 0 的 个 数 比 1 的 个 数 多 ， 就 判决 为 0， 反 之 亦 然 。 
这 种 方法 又 叫做 最 大 似 然 译 码 。 这 也 回答 了 重复 码 中 的 为 什么 是 奇数 的 问题 。 

设 x=2m+1， 其 中 m 是 一 个 正 整 数 。 当 有 多 于 mm 个 比特 发 生 错误 时 ， 这 种 译 码 策略 就 会 出 
错 ， 因 为 在 那 种 情况 下 ， 若 0 被 编码 后 传送 ， 则 收 到 的 码 字 中 将 有 更 多 的 1。 我 们 假定 0 和 1 的 
先前 概率 相等 ， 则 平均 错误 概率 为 

p= (eo (2-15) 


其 中 p 是 信道 转移 概率 。 表 2-2 给 出 了 在 不 同 码 率 下 重复 码 的 平均 错误 概率 。 
表 2-2 重复 码 的 平均 出 错 概率 








码 率 7 平均 出 错 率 P。 
1 107™? 
173 3x10-? 
17S 1075 
1/7 4x10-? 
179 107* 
1711 5x107" 


从 表 2-2 中 我 们 看 到 随 着 码 率 的 降低 ， 平 均 错误 概率 急剧 降低 。P. 降 低 的 速度 远 比 码 率 r 降 
低 的 速度 要 快 得 多 。 但 是 对 重复 码 ， 当 我 们 想 要 越 来 越 小 的 P. 时 ， 码 率 将 趋 近 于 零 。 因 此 重 
复 码 用 码 率 换 取消 息 的 可 靠 性 ， 但 信道 编码 定理 说 要 得 到 任意 小 的 错误 概率 ， 码 率 不 一 定 要 
趋 于 零 。 定 理 仅 要 求 码 率 r 小 于 信道 容量 C。 所 以 一 定 存在 码 率 r ~ 0.9 的 码 (不 是 重复 码 ) 可 
以 达到 任意 低 的 错误 概率 。 这 样 的 编码 方案 将 只 需 在 9 个 信息 比特 中 添加 1 个 校 验 比特 (或 者 
在 90 个 信息 比特 中 添加 10 个 额外 的 比特 ) ， 便 会 给 我 们 想 要 的 任意 小 的 P。( 比 如 说 10-”) ! 困 
难 部 分 是 如 何 找到 这 样 的 一 个 码 。 
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2.5 信息 容量 定理 


到 目前 为 止 ， 我 们 学 习 的 是 信息 在 信道 中 可 靠 地 传输 所 达到 的 最 大 速率 的 界限 ， 读 界限 
描述 为 信道 容量 。 在 这 一 节 中 我 们 将 给 出 有 限 带宽 、 有 限 功率 的 高 斯 信道 的 信息 容量 定理 的 
公式 。 孝 虑 一 个 均值 为 零 、 带 宽 限 为 W Hz 的 平稳 随机 过 程 X(1)。 设 XX，k=1, 2,…, 表示 通过 
对 过 程 XD 以 每 秒 取 2W 个 采样 的 奈奈 斯 特 (Nyquist) 速率 均匀 采样 得 到 的 连续 随机 变量 。 这 
些 符号 通过 一 个 带宽 限 也 为 W Hz 的 有 品 信 道 传 输 。 信 道 输出 遭 到 均值 为 零 、 功率 谱 密度 (psd) 
和 ww2 的 加 性 白 高 斯 噪声 (AWGN) 的 损坏 。 由 于 信道 的 局 限 性 ， 噪 声 的 带宽 限 也 为 W Hz。 
令 关 (k= 1,2,…, 忆 表示 接收 到 的 信和 号 的 采样 。 于 是 有 

也 = 和 十 Ni k=1,.2,.…,K (2-16) 
其 中 入 :是 均值 为 零 、 方 差 为 = NoW 的 噪声 采样 。 这 里 假定 7 (= 1, 2, …, 本 是 统计 独立 的 。 
由 于 发 射 器 通常 具有 有 限 功 率 ， 让 我 们 在 XX 的 平均 功率 上 加 一 限制 条 件 : 

E[XH] =P k=1,2,.,K (2-17) 

该 有 限 带 宽 、 有 限 功率 信道 的 信息 容量 是 信道 输入 X 和 信道 输出 久之 间 互 信息 的 最 大 值 ， 
最 大 化 是 在 满足 功率 限制 等 式 (2-17) 输 入 XX 的 所 有 分 布 上 的 取 值 。 因 此 信道 的 信息 容量 (与 信 
道 容量 相同 ) 可 表示 为 

C= max {7(% Y)|E[XH]=P} (2-18) 
其 中 f(x) 是 的 概率 密度 函数 。 
由 第 ! 章 的 式 (1-32) 得 到 
TX )= AF) AY |X,) (2-19) 
注意 义 和 六 是 独立 的 随机 变量 ， 因 此 ， 在 XX 已 知 时 的 条 件 微分 炉 就 等 于 NN, 的 微分 粹 。 直 
观 上 这 是 由 于 在 X 给 定 的 条 件 下 ， 双 的 不 确定 性 的 增加 完全 取决 于 Ne ， 即 
h(¥ | 和 ) = h(N,) (2-20) 
于 是 我 们 可 将 式 (2-19) 写 为 
I(X;Y )= A ) -A(N) (2-21) 

因为 AN 独立 于 X， 求 Xi; 了 7) 的 最 大 值 的 问题 可 以 转化 为 求 k(Y,) 的 最 大 值 的 问题 。 可 
以 证 明 ， 要 想 使 k(Y,) 达到 最 大 值 ，Y 必 须 为 高 斯 随机 变量 (见习 题 2.10)。 若 我 们 假定 7 为 高 
斯 变量 ， 而 Ni 根据 定义 也 为 高 斯 变量 ， 那 么 X 也 是 高 斯 变量 。 这 是 因为 两 个 高 斯 随机 变量 的 
和 (或 差 ) 仍 是 一 个 高 斯 变量 。 因 此 为 了 能 使 信道 输入 X. 和 信道 输出 7 之 间 的 互信 息 最 大 化 ， 
传输 的 信号 也 应 为 高 斯 的 。 因 此 我 们 可 以 将 式 (2-18) 重 新 写 为 

C=/( 庆 了 |E [X= P 且 Xi 为 高 斯 分 布 (2-22) 

我 们 知道 车 将 两 个 独立 的 高 斯 随机 变量 相 加 ， 所 得 的 高 斯 随机 变量 的 方差 为 原来 两 个 方 
差 的 和 。 因 此 收 到 的 采样 7 的 方差 等 于 P++NoW。 可 以 证 明 方差 为 吕 的 高 斯 随机 变量 的 微分 炳 
为 1/2 logs (2reo) (见习 题 2.10) 。 因 此 有 


H( 取 )= 了 logs[2re(P+ No W)] (2-23) 
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或 
ACN,)= 过 log:[2me(N W)] (2-24) 
将 这 些 值 代入 到 和 Ne 的 微分 箭 中 可 得 
C- 于 iog 人 1+ 六] (iv 信道 使 用 ) (2-25) 


我 们 在 每 秒 钟 传输 2W 个 采样 ， 即 在 一 秒 钟 内 使 用 2W 次 信 道 。 因此 信息 容量 又 可 表示 为 


| (bit/s) (2-26) 





C= wiogs 1+ 大 NoW 
对 于 有 限 带 宽 、AWGN 波 型 信道 ， 当 输入 是 有 限 带 宽 、 平 均 有 限 功率 时 ， 信 息 容 量 的 基 
本 公式 首先 是 Shannon 在 1948 年 建立 的 。 它 被 称 为 Shannon 第 三 定理 ， 又 称 为 信息 容量 定理 。 


定理 2.2 (信息 容量 定理 ) 带宽 为 W Hz 的 连续 信道 的 信息 容量 ， 当 受 功率 谱 密度 为 No2、 
带宽 限 为 到 赫兹 的 加 性 白 高 斯 噪声 干扰 时 ， 可 以 表示 为 


| (bit/s) 





Pp 
C= WI 1 
WwW ogz| 十 NoW 


其 中 P 是 平均 传输 功率 。 该 定理 又 称 为 信道 容量 定理 。 


信息 容量 定理 是 信息 论 中 重要 的 结果 之 一 。 在 一 个 公式 中 我 们 可 以 看 到 信道 带宽 、 平 均 
传输 功率 及 噪声 功率 谱 密度 这 三 者 的 折 中 。 给 定 信道 带宽 和 SNR ， 就 可 以 算出 信道 容量 
(bit/s)。 这 个 信道 容量 是 在 有 限 功 率 、 有 限 带 宽 的 高 斯 信道 上 实现 可 靠 通信 的 基本 速率 界限 。 
应 该 记 住 ， 为 了 接近 这 一 界限 ， 传 送 的 信号 必须 满足 本 质 为 高 斯 (Gaussian) 的 统计 特性 。 
注意 我 们 在 可 互 换 地 使 用 信道 容量 和 信息 容量 的 术语 。 

我 们 现在 用 更 直观 的 方法 来 导出 同样 的 结果 。 假 定 我 们 有 一 种 可 以 接受 的 低 出 错 概率 的 
编码 方案 。 设 这 种 编码 方案 把 k 比 特 的 信息 编码 成 x 比特 长 的 码 字 。 总 的 码 字 数 为 M=2:。 设 每 
比特 的 平均 功率 为 P， 于 是 传输 整个 码 字 所 需要 的 平均 功率 为 zP。 假 设 这 些 码 字 要 通过 一 个 噪 
声 方 差 为 o? 的 高 斯 信道 传输 ， 则 收 到 的 "比特 向 量 也 是 高 斯 的 ， 其 均值 与 被 传输 的 码 字 相 同 ， 
方差 为 moz。 因 为 这 是 一 个 好 码 (可 接受 的 出 错 率 )， 向 量 在 以 传输 的 码 字 为 中 心 、 以 Vncz 
为 半径 的 球 内 。 这 个 球 又 包含 在 半径 为 Yn(P+o?) 的 大 球 内 ， 这 里 zxP+ co) 是 接收 到 的 向 量 
的 平均 功率 。 

这 一 概念 可 以 通过 图 2-6 说 明 。 有 一 个 半径 
为 Yn(P+07) 的 球 ， 里 面 装 有 M 个 半径 为 Vncz 的 小 球 ， 这 
里 M= 2 是 码 字 的 总 数 。 每 个 这 样 的 小 球 中 心 都 是 一 个 码 字 ， 
它们 称 为 译 码 球 (decoding sphere) 。 任 何 收 到 的 字 都 译 码 为 
它 所 在 的 球 中 心 的 码 字 。 假 设 一 个 码 字 通过 一 个 有 噪 信道 传 
输 ， 那 么 接收 到 的 向 量 将 以 很 高 的 概率 落 到 正确 译 码 球 中 
(因为 这 是 个 相当 好 的 码 ) 。 这 就 出 现 了 一 个 问题 : 在 这 个 大 
球 中 可 以 装 进 多 少 个 不 相交 的 小 球 ? 装 进 去 的 小 球 数 越 多 ， 
该 码 在 码 率 方面 就 越 有 效 。 这 称 为 装 球 问题 (sphere packing 
problem ) 。 





图 2-6 装 球 问题 的 图 示 
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半径 为 r 的 " 维 球 的 容积 可 以 表示 为 


V= 4 2-27 
其 中 4, 是 尺度 因子 。 因 此 大 球 (所 有 可 能 收 到 的 向 量 组 成 的 球 ) 的 容积 可 写 为 站 
Vi= [Ta(P+o)] (2-28) 
而 译 码 球 的 容积 为 
Va= A, [ac (2-29) 
能 够 装 进 由 所 有 可 能 收 到 的 向 量 组 成 的 大 球 的 不 相交 译 码 球 的 最 大 个 数 为 
X= 孟 Mot _ (+ 三] 二 9(w2logs(L+Po (2-30) 


将 等 式 两 边 取 以 2 为 底 的 对 数 ， 得 到 


logpM = slogs 1 + 志 | (2-31) 
2 oO 
观察 到 k=log, M， 可 得 
k_l P 
一 Tioga 十 专 | (2-32) 


注意 每 次 我 们 使 用 信道 时 实际 传输 了 kK/n 比 特 。 因 此 信道 的 每 次 使 用 所 能 传输 的 最 大 比特 
数 ， 在 低 错误 概率 的 情况 下 ， 为 1/2 log; (1+P/o”)， 正 如 式 (2-25) 所 示 。 注 意 吕 表示 噪声 功 
率 ， 在 AWGN 功 率 谱 密 度 函 数 为 NV/2 和 带宽 限 为 W 的 情况 下 ， 它 等 于 NoW。 


2.6 Shannon 限 


考虑 一 个 有 限 功 率 和 有 限 带宽 的 高 斯 信道 。 我 们 希望 利用 在 这 些 约束 条 件 下 一 个 通信 系 
统 的 限度 。 首 先 定义 一 种 理想 的 系统 ， 它 能 以 等 于 信道 容量 C 的 比特 速率 Rs 传输 数据 ， 即 Ro= 
C。 假 定 每 比特 的 能 量 为 E,。 则 平均 传输 功率 为 

P= ER,= EC (2-33) 
因此 ， 该 理想 系统 的 信道 容量 定理 可 写 为 


Clog, [ + 公司 (2-34) 
QQ 
这 一 公式 可 重新 写成 下 列 形式 
CW 
外 = 二 (2-35) 
0 


带宽 效率 R,/W 相 对 于 E/N 的 平面 图 称 为 带宽 效率 图 (bandwidth efficiency diagram) ， 如 图 2-7 
所 示 。 理 想 系统 由 直线 R= C 表 示 。 
从 带宽 效率 图 中 可 以 得 到 下 列 结论 : 
(1) 对 无 限 带 宽 ， 比 率 E,/No 趋 向 于 极限 值 
E 


=ln2=0.693=-1.6dB (2-36) 
No Wo 
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这 个 值 称 为 Shannon 限 。 值 得 注意 的 是 Shannon 限 是 一 个 分 数 。 这 说 明 对 很 大 的 带宽 来 说 ， 即 
使 信号 功率 小 于 噪声 功率 ， 实 现 可 靠 通信 也 是 可 能 的 ! 对 应 于 这 个 限定 值 的 信道 容量 为 
二 


log: - 
N, Og2€ (2-37) 


Cly ,~ 二 


因此 ， 对 无 限 带 宽 ， 信 道 容量 由 SNR 决 定 。 








: ; | Ep/No 
0 10 20 30 40 dB 








图 2-7 带宽 效率 图 


(2) 临界 率 R。==C 的 曲线 称 为 容量 边界 (capacity boundary)。 当 Rs,> C 时 ， 不 能 保证 可 靠 通 
信 。 但 当 R,<C 时 ， 存 在 某 些 可 以 使 错误 概率 任意 低 的 编码 方案 。 

(3) 带宽 效率 图 说 明了 几 个 量 值 RWW、Eyw/No 和 错误 概率 P, 之 间 的 折 中 。 注 意 在 设计 任何 通 
信和 系统 时 ， 能 得 到 的 最 基本 的 设计 和 参数 为 带宽 、SNR 和 比特 错误 率 (BER)。BER 由 具体 应 用 
及 预期 的 服务 质量 (QoS) 决定 ， 而 带宽 和 功率 可 以 相互 折 中 提供 理想 的 BER。 

(4) 带宽 效率 图 上 的 每 一 个 点 对 应 与 一 组 SNR、 带 宽 效 率 和 BER 值 相当 的 一 个 操作 点 。 

信息 容量 定理 预测 对 给 定 的 NR， 通过 一 个 给 定 带 宽 所 能 传输 的 最 大 信息 量 。 从 图 2-7 中 
可 以 看 到 即使 对 低 的 SNR， 只 要 有 充足 的 带宽 ， 也 可 以 得 到 能 接受 的 容量 。 当 信号 有 点 像 噪 
声 而 最 小 SNR 维 持 在 接收 端 时 ， 一 个 给 定 的 带宽 可 以 得 到 最 优 使 用 。 这 一 原理 是 任何 扩 频 通 
信和 系统， 如 码 分 多 址 (CDMA) 的 核心 。 


2.7 _ MIMO 系统 的 信道 容量 
我 们 使 用 一 个 Ms x Mj; 维 的 矩阵 HH 来 对 式 (2-3) 中 描述 的 MIMO 信 和 道 进 行 建 模 。 假 设 平均 传 
输 符 号 能 量 是 E,;， 则 取样 的 信号 模型 可 以 表示 为 : 
[E 
y[K] = Ny + n[k] (2-38) 
其 中 ，y[A]J 是 所 收 到 的 Mi x 1 维 信 号 向 量 ，s[k] 是 所 传送 的 My x 1 维 信号 向 量 ，9[ 各 是 Mn x 1 维 


时 空 的 零 均值 复 高 斯 白 噪音 向 量 ， 并 且 每 一 维 的 方差 是 N。。 这 种 信号 模型 适合 频率 平坦 衰弱 
(frequency flat fading) 信道 。 为 更 清楚 地 表示 ， 当 上 式 中 去 掉 时 间 指 数 k 后 ， 就 变 成 了 如 下 的 
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[E 
y= M; H.+n (2-39) 


R,, = Et{ss™}. (2-40) 

上 标 'H' 表 示 厄 米 特 操作 (Hermitian operation) 。 我 们 假设 信道 吾 是 确定 信道 ， 并 且 被 接收 

方 知道 。 则 使 用 控制 信号 或 者 训练 信号 ， 接 收 方 可 以 计算 出 信道 状态 信息 (channel state 
information，CSI)。MIMO 信 和 道 容量 可 以 表示 为 : 


形式 : 





5 的 协 方 差 矩 阵 是 





E H 。 
= Wi det I ss— HRH _ 
C rdRnaxw 082 | MR 十 MTNI 55 jews (2-41) 


其 中 W 是 带宽 ，1ws 是 和 和 矩 阵 Mx 同 样 大 小 的 单位 矩阵 。 条 件 Tr (R,) = Mr 限制 了 整个 符号 周期 中 
全 部 平均 能 量 的 传输 。 

如 果 传 输 者 不 知道 信道 ， 向 量 s 的 选择 可 能 使 得 R,。 =1wr。 这 就 意味 着 ,发射 天 线 中 的 信号 
是 独立 的 并 且 有 相同 的 功率 。 这 种 情况 下 ，MIMO 信 道 的 容量 可 以 表示 为 : 


C -wDlogs(1+ 
i=1 





E, 四 
MiNo 4] (bit/s) (2-42) 


其 中 r 是 信道 的 秩 ，A (i=1, 2, …, 7) 是 HH* 的 正 的 特征 值 。 非 常 有 意思 的 是 ， 对 于 某 个 传输 者 
未 知 的 MIMO 信 道 ， 其 容量 是 r 个 SISO 信道 之 和 ， 每 一 个 SISO 信 道 有 功率 增益 (i=1, 2,…, 7) 
和 相同 的 传输 功率 E/Mr。 可 以 这 样 解释 ， 在 发 送 者 和 接收 者 之 间 ， 使 用 多 个 发 射 和 接收 天 线 
可 以 引起 多 个 并 行 的 数据 通道 。 这 些 标 量 数据 通道 的 数目 依赖 于 五 的 秩 。 

接 下 来 ， 我 们 考虑 满 秩 的 MIMO 信 和 道 ， 此 信道 满足 Mi= Ma = M。 因 此 r = MM。 当 H 是 一 个 正 
交 和 矩阵 (也 就 是 HH*=H*H) 时 ， 就 可 以 达到 最 大 信道 容量 。 此 MIMO 的 信道 容量 可 以 表示 为 : 


C=WM mg:| E ] iw (2-43) 
0 


EN 
一 个 正 交 的 MIMO 信 道 的 容量 是 M 乘 以 标量 信道 容量 。 如 果 传 输 者 知道 信道 ， 通 过 在 传输 
者 端 和 接收 者 端的 处 理 ， 不 同 的 标量 数据 通道 可 以 被 分 别 访 问 。 基 本 思想 是 ， 为 了 最 大 化 互 
信息 ， 根 据 不 同 的 数据 通道 来 对 变量 的 能 量 进行 分 配 。 和 迭代 地 运用 Waterpouring 算 法 就 可 以 
达到 最 优 能 量 。 当 传输 者 知道 信道 的 时 候 ，MIMO 信 道 的 容量 一 定 大 于 或 者 等 于 当 传 输 者 不 
知道 信道 时 MIMO 信 道 的 容量 。 
2.8 码 的 随机 选取 
考虑 由 一 组 n 维 二 元 码 字 构造 的 一 组 M 个 编码 后 的 信号 波形 。 我 们 把 这 些 码 字 表 示 如 下 : 
G= [a G0 cy i=1,2,.%,M ， (2-44) 
因为 我 们 考虑 的 是 二 元 码 ，cj 是 0 或 1。 设 码 字 的 每 一 个 比特 都 映射 到 一 个 BPSK 波 型 p，， 
因此 码 字 可 以 表示 为 
sd = Dsy pl),i= 412, (2.45) 


其 中 
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VE = 
-| 2 者 儿 =1 (2-46) 


-VE 若 Cs =0 
这 里 VE 是 每 个 码 字 比 特 的 能 量 。 波 形 s,(7) 又 可 表示 为 n 维 向 量 
Si 一 [ss Si 5 1= 1,2, 0 ,M (2-47) 
我 们 观察 到 这 对 应 到 n 维 空间 中 的 超 立 方 体 。 现 在 让 我 们 将 Kk 比特 的 信息 编码 成 n 比 特长 
的 码 字 ， 再 将 这 个 码 字 映射 到 M 个 波形 之 一 。 注 意 对 应 M=2! 个 不 同 码 字 的 可 能 波形 总 共有 
24 个 。 
设 编码 器 的 信息 率 为 每 秒 R 比 特 。 编 码 器 每 次 接受 k 比 特 ， 然 后 把 这 比特 块 映 射 到 M 个 波 
形 之 一 。 所 以 k= 二 RT， 而 且 需 要 M = 2* 个 信号。 
我 们 定义 如 下 的 参数 D 
D= 地 ( 维 / 秒 ) (2-48) 


n 二 D7 称 为 空间 的 维 数 。 上 述 超 立 方 体 有 2”=2”" 个 顶点 ， 我 们 必须 从 中 选 M= 2 个 来 传递 信 
息 。 在 D> R 的 约束 条 件 下 ， 可 用 作 信 号 点 的 顶点 所 占 比例 为 





- 和 = 2 = 2-D- RT (2-49) 

对 D>>R， 当 T 一 时 ， 有 Ff 一 0。 因 为 n=DT， 这 表明 当 n 一 时 ， 有 Ff 一 0。 设 计 一 个 好 的 
编码 方案 的 问题 转化 为 如 何 从 超 立 方 体 的 2 个 顶点 中 选取 M 个 顶点 ， 当 增加 4 时 错误 概率 趋 于 
零 的 问题 。 我 们 已 经 看 到 了 当 不 断 增 大 rn 的 时 候 ， 分 数 F 趋 于 零 ， 这 说 明 当 n 一 时 ， 增 加 这 MM 
个 信号 点 之 间 的 最 小 距离 是 可 能 的 。 增 加 信号 点 之 间 的 最 小 距离 将 使 错误 概率 P, 一 0。 

从 总 共 2" 个 顶点 中 选取 MM 个 共有 (2"”)* 种 不 同 的 选 法 。 每 种 选 法 都 对 应 一 种 编码 方案 。 对 
每 一 组 M 个 波形 ， 有 可 能 设计 由 一 个 调制 器 和 一 个 解 调 器 组 成 的 通信 系统 。 因 此 有 2” 个 通信 
系统 ， 每 一 个 都 对 应 MM 个 编码 波形 的 选择 。 每 一 个 这 样 的 通信 系统 都 用 它 的 错误 概率 描述 。 
当然 ， 很 多 这 类 通信 系统 在 错误 概率 方面 表现 得 很 差 。 

让 我 们 从 2 组 码 中 随机 选取 一 个 码 。 随 机 选取 第 mm 个 码 字 时 的 概率 为 


Psjw) = 于 克 (2-50) 
设 这 样 选取 的 码 的 错误 概率 为 P.({s,},)。 那 么 全 部 码 的 集合 的 平均 错误 概率 为 
2 
B= YP(s), Pls),) 
m=] 
on MM 


= 二 Rn (2-51) 


m=1 





下 面 将 给 出 这 个 平均 错误 概率 的 上 界 。 如 果 我 们 有 的 一 个 上 界 ， 可 以 肯定 至 少 存在 一 个 
码 满足 该 上 界 条 件 。 另 外 ， 如 果 n 一 时 有 一 0， 则 我 们 可 以 猜测 当 n 一 时 也 有 P,({si}) 一 0。 
考虑 对 比特 消息 X= [x Xx。 … zx] 的 传输 问题 ， 其 中 x G= 1, 2, …, 有 ) 是 二 元 的 。 在 所 有 可 
能 码 上 平均 条 件 错误 概率 为 
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之 已 人 {si}P ({si}) (2-52) 


其 中 PXi, {si}w) 是 给 定 通 过 码 {sjw 传 输 的 K 比 特 消 息 & = [x x。… 区 的 条 件 错 误 概率 。 对 第 普 
个 码 有 


P(X, fm < Bsp se) (2-53) 


人 


其 中 Pnlsi, so 是 用 信号 向 量 w 和 sx 传输 两 个 等 可 能 出 现 的 比特 请 息 之 一 的 二 元 通信 系统 的 错误 
概率 。 故 


M . 
RF) < 之 Pl{sin) 2 Bn(sp $0 (2-54) 
所 有 码 人 ， 
通过 改变 求 和 次 序 ， 可 得 

MM 

RE < | 3 ZA {Si} mB ns < < 之 Ps,, st) (2-55) 

1 -1 、 

lzk lzk 


其 中 Bo 54) 表示 Ps sb 在 2™ 个 码 上 的 总 平均 值 。 对 加 性 白 高 斯 噪声 信道 ， 有 


PS1,8;) = a | 急 ] (2-56) 


1 fe 
其 中 避 =|s -sg ，2oD -元 人 “dz 。 若 5 与 :有 4 个 坐标 不 同 ， 则 


骸 寺 si sk P=y》 (Ge -sy) =d(2VE)? = 4dE (2-57) 
拨 
因此 ， 
24E 
Pn (sr Sp) = Q | No | (2-58) 


在 所 有 码 都 均等 的 假设 下 ， 向 量 s, 可 以 等 可 能 地 是 超 立 方 体 的 2" 个 顶点 中 的 任 一 个 。 进 一 
步 ， si 和 si 是 统计 独立 的 ， 因此 s 和 s, 恰 好 在 d 处 不 相同 的 概率 为 


Pld) = (3) (9 (2-59) 
于 是 Pnls,, Si) 在 全 部 码 上 的 期 望 值 为 


-3 兽人 这 fof 
Btls,sr) = PG) o| 下 上 国有 Cel NT | (2-60) 


o| 可]<” (2-61) 


利用 下 面 的 上 界 
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可 得 


-dE E 
一 1 fn nN 1 -Ne 
及 (ssb) < | "< bl ? 2-62) 


由 式 (2-55) 和 式 (2-62) 我 们 得 到 
-EY _EY 
P(X) mm | Ee 引 (2-63) 
1=1 


1k 





我 们 需要 平均 错误 概率 刃 的 一 个 上 界 。 要 得 到 只 ， 我 们 将 (XZ,) 在 所 有 可 能 的 x 比特 信息 
序列 上 取 平 均值 。 于 是 


_EY __Ey 
B= PX P (Xi)< “i 中 zaeor M EE 引 (2-64) 
Kk 


现在 定义 如 下 的 参数 。 
定义 2.4 定义 切断 案 (cutoff rate) Ro 如 下 : 





E 
Ry = 10g2 2 Eee "| (2-65) 


No 


1+e 


切断 率 的 单位 为 比特 / 维 。 观 察 上 式 可 知 0 委 尺 迄 1。 尺 相对 每 维 的 SNR 的 平面 图 由 图 2-8 给 出 。 
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图 2-8 切断 率 Ro 相 对 每 维 的 SNR (dB 数 ) 


现在 式 (2-64) 可 以 简写 为 
P < M2 一 9-RT 9-nRo (2-66) 


将 n= 二 DT 代入 ， 得 到 
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PB <2 TD A (2-67) 
如 果 将 T=n/D 代 入， 则 得 到 


B (2-68) 
观察 到 





(2-69) 


这 里 R. 表 示 码 率 。 于 是 平均 错误 概率 可 以 写成 下 面 的 形式 
B < 2 (BR, (2-70) 

从 上 述 等 式 我 们 可 以 得 到 下 列 结论 ， | 

(1) 对 于 R。<Ro。， 当 nn 一 时 ， 平 均 错误 概率 一 0。 因 为 通过 选取 一 个 大 的 m 值 ， 可 以 
使 尺 任意 小 ， 因 此 理论 上 存在 一 个 好 码 使 错误 概率 小 于 巨 。 

(2) 我 们 观察 到 尺 是 总 体 平 均值 。 因 此 若 一 个 码 是 随机 选取 的 ， 错 误 互 > a 的 概率 小 于 
1/a。 这 说 明 只 有 不 超过 10% 的 码 其 错误 概率 超过 10 。 因 此 有 很 多 好 码 存在 。 

(3) 那些 错误 概率 超出 的 码 并 不 都 是 差 的 码 。 这 些 码 的 错误 概率 可 以 通过 增加 维 数 n 来 
降低 。 

对 二 元 编码 信号 ， 当 切断 率 Ro 在 E/No 取 很 大 的 值 时 ， 比 如 说 E/N。> 10， 即 达到 饱和 值 1 比 
特 / 维 。 因 此 要 取得 低 的 错误 概率 ， 必 须 减 小 码 率 R.。 另 外 ， 可 以 使 用 很 长 的 组 块 ， 但 这 不 是 
一 种 有 效 的 方法 。 因 此 二 元 码 在 高 SNR 情 况 下 是 有 效 的 。 对 那些 高 SNR 的 情况 ， 应 该 用 非 二 
元 编码 信号 集 来 增加 每 维 的 比特 数 。 通 过 将 不 同 振幅 水 平 (例如 脉冲 振幅 调制 ) 映射 到 码 元 
素 ， 多 级 振幅 编码 信号 集 也 可 以 很 容易 从 非 二 元 码 构 造 。 对 MM 辐 多 级 振幅 信和 号 的 随机 码 ， 
Shannon (在 1959 年 ) 证 明了 


2 2 
E_|_/E 1 lin 
lt + 去 | eb [总 (2-71) 


现在 让 我 们 将 切断 率 束 同 AWGN 信 道 的 容量 联系 起 来 ， 该 信道 容量 为 


» 1 
局 = 一 
0 9 





P 
NoWw 





C=W Iogs (1 十 ] (bit/s) (2-72) 


每 码 比 特 的 能 量 等 于 


天 = £7 (2-73) 


n 
回想 一 下 采样 定理 ， 一 个 带宽 为 W 的 信号 可 以 由 速率 为 2W 的 采样 表示 。 因 此 在 长 度 为 ?的 时 间 
段 内 有 hn 二 2W7 个 采样 。 因 此 我 们 可 以 写 为 D=n/T=2W， 可 得 
p= nF DE (2-74) 

= 一 


定义 规范 容量 C.= C/2 丈 =C/D， 替 换 式 (2-72) 中 的 W 和 P 得 到 
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oFE 


) (2-75) 
=(3)iogall + 2R.y,) 
其 中 ys 是 每 比特 的 SNR。 规 范 容量 C, 和 切断 率 局 的 平面 图 如 图 2-9 所 示 。 从 图 中 我 们 可 以 得 到 
下 述 结论 ， 
(1) 对 所 有 E/N 的 值 ， 都 有 已 <C,。 这 是 预料 之 内 的 ， 因 为 C, 是 传输 速率 R/D 的 最 终 限 。 
(2) CGC 和民 之 间 的 较 小 的 差 大 概 在 3dB 左 右 。 这 说 明 随机 选取 的 、 有 限 平 均 功 率 的 多 级 振 
幅 信 号 使 BR 在 信道 容量 的 34B 之 内 。 
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图 2-9 AWGN 信 道 的 规范 容量 C, 和 切断 率 民 
2.9 评注 


Shannon 在 1948 年 进行 了 开创 性 工作 。Shannon 的 第 二 定理 在 发 表 时 确实 是 一 个 惊人 的 
结果 。 它 声明 只 要 码 率 小 于 信道 容量 ， 一 个 BSC 的 错误 概率 便 可 做 到 想 多 小 就 多 小 。 这 个 定 
理 为 系统 研究 在 不 可 靠 (有 品 ) 信道 中 实现 可 靠 通信 和 铺 平 了 道路 。Shannon 第 三 定理 一 一 信 
息 容 量 定理 ,是 信息 论 中 最 辉煌 的 成 果 之 一 ， 它 给 出 了 信道 带宽 、 信 噪 比 和 信道 容量 的 关系 。 
在 20 世 纪 50 年 代 和 60 年 代 ，Gilbert、Gallager、Wyner、Forney 和 Viterbi 等 人 又 作出 了 进 一 
步 的 贡献 。 

切断 率 的 概念 也 是 Shannon 提 出 来 的 ， 但 后 来 被 Wozencraft、Jacobs 和 Kennedy 用 作 通 信 系 
统 的 设计 参数 。Jordan 用 切断 率 的 概念 设计 了 具有 相关 检测 和 非 相 关 检 测 的 MM 辐 正 交 信号 的 编 
码 波形 。 切 断 率 被 广泛 用 作 不 同 信道 的 设计 标准 ， 包 括 无 线 通 信 中 遇 到 的 衰退 信道 。 


2.10 小 结 
* 条件 概率 PO'|z) 称 为 信道 转移 概率 ， 记 为 mr。 描述 DMC 的 条 件 概率 {POx|z)} 可 以 表示 为 
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矩阵 P= [pj] 的 形式 。 和 拢 阵 P 称 为 信道 的 概率 转移 矩阵 。 
“离散 无 记忆 信道 (DMC) 的 容量 定义 为 任何 一 次 信道 使 用 的 最 大 平均 互信 息 ， 其 中 最 

大 值 是 在 所 有 输入 概率 上 的 取 值 ， 即 
Sb ‘p 


C= Rex 7(X;Y) ) = max xj)P |xj)log 


PO: |xj) 

1 f= p> 人 Pl(y;) 

。 信道 编 码 的 基本 目标 是 增加 数字 通信 系统 对 信道 噪声 的 抵抗 力 。 这 通过 在 要 传输 的 数据 
流 中 有 控制 地 添加 元 余 度 来 实现 。 入 道 编 码 又 称 为 错误 控制 编码 。 

* 比率 r=k/n 称 为 码 率 。 任 何 编 码 方案 的 码 率 都 总 是 小 于 1。 

* 设 一 个 字母 集 为 X， 焕 为 H(X) 的 DMS 每 T, 秒 产生 一 个 符号 。 设 该 DMS 的 容量 为 C， 并 且 
每 7. 秒 被 使 用 一 次 。 那 么 若 H(XYT,< C/T.， 则 存在 一 种 编码 方案 使 通过 该 有 品 信 道 的 信 
源 输 出 可 以 以 任意 低 的 错误 概率 恢复 。 这 就 是 信道 编码 定理 或 有 噪 编码 定理 。 

“车 及 (X)/T,> C/T.， 则 通过 该 信道 传输 的 信息 不 可 能 以 任意 小 的 错误 概率 恢复 。 参 数 C/T. 
称 为 临界 率 。 

“一 个 SISO 信 道 的 信息 容量 可 以 表示 为 每 秒 C= W log: (1+ P/(NoW)) 比 特 。 这 是 计算 有 限 
带宽 的 AWGN 波 形 信道 当 输 入 为 有 限 带宽 和 有 限 功率 时 的 容量 的 基本 公式 。 这 是 信息 容 
量 定理 的 重要 之 处 。 这 一 定理 也 称 作 信道 容量 定理 。 

。 频 率 平坦 确定 MIMO 信 道 容量 可 以 表示 为 





E pH) 
C= -a W log, dc 十 WN HR.H jew 


基 中 W 是 带宽 。 条 件 Tr(R,)=M; 限 制 了 整个 符号 周期 中 全 部 平均 能 量 的 传输 。 在 此 处 假 
设 接 收 者 知道 信道 。 
。 如果 传输 者 不 知道 这 个 信道 ， 那 么 MIMO 信 道 容量 可 表示 为 


下。 
C=W DO log [ 4 bit/s) 
> 2 MrNo ( 


其 中 r 是 信道 的 秩 ， 和 (i=1,2,…, 是 HH" 的 正 的 特征 值 。 
。 如 果 传 输 者 知道 信道 ， 通 过 在 传输 者 端 和 接收 者 端的 处 理 ， 不 同 的 标量 数据 通道 可 以 被 
分 别 访 问 。 和 迭代 地 运用 Waterpouring 算 法 就 可 以 为 每 个 数据 通道 达到 最 优 能 量 。 





。 切 断 率 Ro 由 公式 局 =log， 2 =1-1log， [Ire "给 则 ， 切断 率 的 单位 为 bit/ 维 。 注 


No 





l+e . 
意 0 和 Reo<1。 平 均 错 误 概 率 用 切断 率 可 以 表示 为 已 <2 0  。 对 于 R .<Ro 的 情况 ， 当 
# 一 ce 时 ， 有 平均 错误 概率 已 一 0。 


数学 就 像 象 横 ， 和 过 合 年 轻 人 ， 不 太 难 ， 很 有 趣 ， 而 且 对 国家 没 危 险 。 





Plato (公元 前 429 一 347) 
习题 
2.1 考虑 图 2-10 所 示 的 二 元 信道 。 设 发 送 二 元 符号 的 先 验 概 率 为 pp 和 p,， 其 中 po 十 p1 一 1。 求 


种 2 间 信道 谷 量 和 编码 





后 验 概率 P(X=0|lY=0) 和 P(X= 1|Y= 1)。 


1-p 
po 0 0 








1-9 
图 2-10 
2.2 求 图 2-11 中 所 示 的 二 元 涂抹 信道 的 容量 ， 其 中 po 和 pi1 为 先 验 概率 。 


1-p 


po 00Q G0 
p 


图 2-11 
2.3 考虑 图 2-12 所 示 的 信道 A、B 和 级 联 信道 AB。 
(1) 求 信道 A 的 容量 C。。 
(2) 求 信 道 B 的 容量 Ca。 
(3) 将 两 个 信道 级 联 并 求 联合 信道 容量 Cas。 
(4) 解释 Cs。、Cs 和 Chg 之 间 的 关系 。 


2/3 








AB 


2.4 求 图 2-13 所 示 信 道 的 容量 。 

















0.5 
图 2-13 


2.5 (1) 一 个 电话 信道 具有 带宽 3000Hz 且 SNR=20dB。 求 信道 容量 。 


9 
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2.6 
2.7 


2.8 


2.9 





(2) 若 SNR 增 加 到 25dB ， 求 信道 容量 。 

确定 图 2-14 所 示 信 道 的 容量 。 

假定 电视 每 秒 钟 显示 30 个 画面 ， 每 个 画面 大 约 有 2 x 10° 个 

像素 ， 每 个 像素 需要 16bit 的 彩色 显示 。 假 定 SNR 为 25dB ， 

计算 支持 电视 图 像 信 号 传输 所 需要 的 带宽 (利用 信息 容量 

定理 )。 

考虑 图 2-15 所 示 的 Z 型 信道 。 

(1) 求 获得 信道 容量 所 需 的 输入 概率 。 

(2) 若 将 N 个 这 样 的 信道 相 级 联 ， 证 明 联 合 信道 可 以 用 一 
个 信道 转移 概率 为 (1-z) 的 等 价 Z 信 道 表示 。 

(3) 当 N 一 2 时 联合 信道 的 容量 是 什么 ? 

考虑 一 个 使 用 对 路 信号 (antipodal signaling) 的 通信 系统 。 

它 的 SNR 是 20dB 。 2-15 

(1) 求 切断 率 RR。。 

(2) 我 们 想 设计 一 种 码 使 平均 错误 概率 为 了 <10“。 我 们 能 得 到 的 最 好 码 率 是 多 少 ? 

(3) 这 个 码 的 维 数 n 将 是 多 少 ? 

(4) 对 SNR = 5dB 的 情况 重复 上 述 步骤 (1)、(2) 和 (3)。 对 所 得 结果 进行 比较 。 











2.10 (1) 证 明 对 有 限 方差 go°， 高 斯 随机 变量 具有 所 有 随机 变量 可 能 获得 的 最 大 微分 粹 。 


(2) 证 明 读 粹 由 公式 1/2 log; (2reo) 给 出 。 


上 机 习题 


2.11 
2.12 


2.13 


2.14 


写 一 个 程序 ， 它 在 输入 信道 转移 概率 和 矩阵 后 计算 出 信道 容量 。 

对 M-PSK 画 图 显示 操作 点 在 带宽 效率 图 上 的 位 置 ， 其 中 M=2、4、8、16 和 32 ， 错 误 概 率 
为 

(1) 已 =10-5; 

(2) P =10-8。 

写 一 个 程序 实现 码 率 为 1/n 的 二 元 重复 码 , 其 中 “是 一 个 奇数 。 对 该 重复 码 建立 一 个 解码 器 。 
用 信道 转移 概率 为 p 的 BSC 来 测试 该 编码 方案 的 性 能 。 将 该 程 序 推广 到 GF(4) 上 码 率 为 1n 
的 重复 码 。 画 出 剩余 比特 错误 率 (BER) 对 p 和 9g 的 图 ( 画 个 三 维 网 图 )。 

编写 一 个 程序 ， 实 现 对 应 M; 条 发 射 天 线 和 Mi 条 接收 天 线 的 容量 相对 于 SNR 的 曲线 图 。 
(1) 实现 下 列 组 合 的 曲线 图 : (Mr Ma = (1,1),(1,2),(1,3), (2, DD,(2,2), (G3, 1)。 

(2) 比较 MISO 和 SIMO 的 容量 ， 并 进行 相关 评价 。 

(3) 如 果 我 们 有 四 条 天 线 ， 则 下 面 的 组 合 哪 种 最 优 : (1, 3), (2, 2) 或 (3, 1)? 并 证 明 。 


i 
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数学 是 一 种 有 趣 的 智力 运动 ， 但 不 允许 它 阻 挡 获取 关于 物理 过 程 的 有 用 信息 。 


一 一 Richard W. Hamming 


3.1 纠 错 码 简介 


在 这 个 信息 时 代 ， 存 储 、 恢 复 和 传输 数据 不 但 对 速度 而 且 对 准确 性 有 着 越 来 越 高 的 需求 。 
用 来 传输 消息 的 信道 通常 不 是 完美 的 。 机 器 也 会 出 错 ， 它 们 所 出 的 那些 非 人 工 错 误 可 以 使 完 
好 的 程序 变 成 无 用 的 ， 甚 至 是 有 害 的 垃圾 。 就 像 建筑 师 们 设计 即使 在 地 震中 也 不 会 倒 的 建筑 
一 样 ， 计 算 机 专家 们 已 经 使 用 了 精确 技术 能 够 抵消 Murphy 定 律 (“ 如 果 什么 东西 可 能 出 错 ， 
那么 它 将 会 出 错 ”) 的 数字 表现 。 纠 错 码 (error correcting code) 是 一 种 安全 措施 一 一 针对 不 
完美 数字 世界 的 奇异 变化 的 数学 保险 。 

纠 错 码 ， 就 像 它 的 名 字 表 明 的 那样 ， 是 当 消息 经 过 有 品 信 道 传 输 或 要 恢复 存储 的 数据 时 
用 来 纠 错 的 。 用 来 传输 消息 的 物理 介质 叫做 信道 (如 电话 线 、 卫 星 连 接 、 用 于 移动 通信 的 无 
线 信道 等 )。 不 同 种 类 的 信道 易 产生 不 同 种 类 的 噪声 ， 对 传输 的 数据 造成 损害 。 品 声 的 产生 可 
以 是 因为 光 、 人 类 错误 、 设 备 故 障 、 电 压 起 伏 等 。 因 为 这 些 纠 错 码 试图 克服 信道 中 噪声 造成 
的 损害 ， 其 编码 过 程 又 称 为 信道 编码 。 错 误 控 制 码 也 用 于 将 信息 从 一 个 地 方 到 另 一 个 地 方 精 
确 传输 ， 例 如 存储 数据 ， 然 后 从 一 个 CD 上 读 出 来 。 在 这 种 情况 下 ， 错 误 可 能 是 由 于 CD 表面 
的 一 点 划 痕 所 致 。 纠 错 码 的 编码 方案 将 试图 从 受 损 的 数据 中 恢复 原始 数据 。 学 习 错 误 控制 编 
码 的 动机 来 自 这 样 一 个 现实 ， 即 现在 日 常 交流 用 到 大 量 数据 和 在 通信 、 存 储 和 获取 数据 方面 
需要 具有 更 高 可 靠 性 。 

纠 错 码 的 基本 思想 是 在 消息 通过 一 个 有 噪 信道 传输 前 以 多 余 符 号 的 形式 在 消息 中 增添 元 
余 度 ， 这 种 元 余 度 是 在 控制 下 添加 的 。 编 码 后 的 消息 在 传输 时 可 能 还 会 遭 到 信道 中 噪声 的 损 
害 。 在 接收 端 ， 如 果 错 误 数 在 该 编码 策略 所 设计 的 限度 内 ， 原 始 消 息 可 以 从 受 损 的 消息 中 恢 
复 。 图 3-1 显 示 了 数字 通信 系统 的 框图 。 注 意图 中 最 重要 的 部 分 就 是 噪声 部 分 ， 没 有 它 的 话 就 
用 不 着 信道 编码 器 了 。 





例 3.1 ”让 我 们 来 看 元 余 度 是 如 何 同 噪声 的 影响 做 “斗争 ”的 。 我 们 用 来 交流 的 正常 语言 
(如 英语 ) 有 很 大 的 元 余 度 。 考 虑 下 面 的 句子 : 
CODING THEORY IS AN INTRSTNG SUBJCT 
我 们 看 到 ， 在 这 个 句子 中 有 几 处 错误 。 但 由 于 对 这 种 语言 的 熟悉 ， 我 们 可 以 猜 到 原来 的 名 
子 应 该 是 
CODING THEORY IS AN INTERESTING SUBJECT 


62 卓 二 部 分 “ 尔 囊 抢 制 疙 码 【信道 编码 ) 


我 们 刚才 用 到 的 就 是 一 种 纠 错 策略 ， 它 利用 了 英语 中 国有 的 元 余 度 来 从 受 损 的 消息 中 恢 
复原 始 消息 。 





使 





用 


信息 的 


图 3-1 数字 通信 系统 框图 (和 原理 )， 这 里 没 显 示 信 源 编码 器 / 译 码 器 


一 个 好 的 错误 控制 编码 方案 的 目标 是 ，; 

(1) 用 可 以 纠正 的 错误 个 数 来 衡量 的 纠 错 能 力 。 

(2) 快速 有 效 地 对 消息 进行 编码 。 

(3) 快速 有 效 地 对 接收 到 的 消息 进行 译 码 。 

(4) 单位 时 间 内 所 能 传输 的 信息 比特 数 尽量 大 ( 即 有 较 少 的 元 余 度 )。 

第 一 个 目标 是 最 基本 的 。 为 了 增加 一 个 编码 方案 的 纠 错 能 力 ， 必 须 引 入 更 多 的 元 余 度 。 
但 增加 的 元 余 度 会 造成 实际 信息 传输 速率 的 降低 。 因 此 第 1 条 和 第 4 条 的 目标 不 完全 相 容 。 
另外 ， 为 了 能 纠正 更 多 的 错误 ， 编 码 策略 会 变 得 更 复杂 ， 于 是 第 2 条 和 第 3 条 的 目标 也 很 难 
达到 。 

本 章 中 我 们 将 首先 学 习 错误 控制 编码 的 基本 定义 。 我 们 将 看 到 这 些 定义 贯穿 全 书 。 然 后 我 
们 引入 线性 分 组 码 (linear block code) 的 定义 。 线 性 分 组 码 构成 一 大 类 有 用 的 码 。 我 们 将 看 
到 用 矩阵 来 描述 这 类 码 很 方便 。 本 章 后 面部 分 我 们 将 学 习 如 何 有 效 地 对 这 些 线性 分 组 码 译 码 。 
我 们 同时 会 学 习 汉 了 明码 (Hamming Code)、 低 密度 奇偶 校 验 码 (Low Density Parity Check 
Code) 和 空 时 分 组 码 (Space Time Block Code)， 最 后 引入 完备 码 和 最 优 线性 码 的 概念 。 


3.2 基本 定义 
本 节 给 出 的 基本 定义 在 本 章 以 及 以 后 的 章节 中 会 频繁 地 用 到 。 
定义 3.1 字 是 一 些 符号 的 序列 。 
定义 3.2 码 是 称 为 码 字 的 向 量 的 集合 。 


定义 3.3 ”一 个 码 字 (或 任何 向 量 ) 的 汉 明 重量 (Hamming Weight) 等 于 该 码 字 中 的 非 堆 
元 素 个 数 。 码 字 c 的 汉 明 重量 记 为 w(c)。 两 个 码 字 之 间 的 汉 明 距离 (Hamming Distance) 是 码 
字 不 相同 的 位 置 的 数目 。 两 个 码 字 cj 和 c) 之 间 的 汉 明 距离 记 为 dfci, c2)。 容 易 看 出 d(ci, c,)= 


w(C1 — C2)。 
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例 3.2 ”考虑 有 两 个 码 字 {0100，1111} 的 码 C， 码 字 的 汉 明 重量 为 w(0100)= 1 和 w(1111)=4。 
这 两 个 码 字 间 的 汉 明 距离 为 3， 因 为 它们 在 第 1、 第 3 和 第 4 个 位 置 上 不 同 。 观 察 得 到 w(0100 一 
1111)=w(1011)=3= d(0100, 1110。 


例 3.3 ”对 于 码 C={01234，43210}， 每 个 码 字 的 汉 明 重量 都 是 4， 码 字 之 间 的 汉 明 距离 也 
是 4 (因为 两 个 码 字 只 在 第 3 个 位 置 相同 ， 在 其 余 4 个 位 置 都 不 同 )。 





定义 3.4 ”一 个 分 组 码 由 具有 固定 长 度 的 码 字 集合 构成 。 这 些 码 字 的 固定 长 度 称 为 分 组 长 
度 (block length)， 通 常 记 为 n。 因 此 一 个 分 组 长 度 为 的 码 由 一 组 有 n 个 分 量 (component) 的 
码 字 的 集合 构成 。 

定义 在 g 个 符号 的 字母 集 上 的 大 小 为 人 MM 的 分 组 码 是 MM 个 g 元 序列 的 集合 ， 每 个 序列 的 长 度 为 
Nn。 对 4 二 2 的 特殊 情况 ， 那 些 符号 称 为 比特 ， 而 码 称 为 二 元 码 。 通 常 对 某 个 整数 Kk 有 MM 二 q+， 我 
们 称 这 样 的 码 为 (n,k) 码 。 





例 3.4 码 C={ 00000，10100，11110，11001} 是 分 组 长 度 等 于 5 的 一 个 分 组 码 。 该 码 可 用 来 
表示 两 个 比特 的 二 元 数字 ， 如 下 所 示 : 


未 编码 的 比特 码 字 
00 00000 
01 10100 
10 11110 


11 11001 
这 里 WM=4, k=2 且 n=5。 假 设 我 们 要 用 上 述 编码 方案 传输 由 0 和 1 构成 的 一 个 序列 ， 比 如 ， 要 
编码 的 序列 为 1001010011… 第 一 步 是 把 这 个 序列 分 成 两 个 比特 一 组 (因为 我 们 要 每 次 编码 两 
个 比特 )， 那 么 我 们 做 如 下 分 割 

10 O01 01 00 11… 

接 下 来 把 每 个 组 用 它们 对 应 的 码 字 代 换 : 

11110 10100 10100 00000 11001… 
因此 对 每 两 个 比特 未 编码 的 消息 ， 我 们 发 送 5 比 特 (编码 后 )。 应 读 观 察 到 对 每 2 比特 的 信息 ， 
我 们 发 送 3 个 额外 比特 (元 余 度 )。 





定义 3.5 一 个 (n,k) 码 的 码 率 定义 为 比率 (k/n)， 它 表示 码 字 所 含 信息 符号 的 分 数 。 

码 率 总 是 小 于 1。 码 率 越 小 ， 宛 余 度 就 越 大 ， 即 在 一 个 码 字 中 添加 给 每 个 信息 符号 的 元 余 
符号 越 多 。 一 个 码 有 越 多 的 元 余 度 ， 就 有 检测 和 纠正 更 多 错误 符号 的 能 力 ， 但 也 降低 了 传输 
信息 的 实际 速率 。 

定义 3.6 ”一 个 码 的 最 小 距离 《Minimum Distance) 就 是 任何 两 个 码 字 之 间 的 最 小 汉 明 距 
离 。 如 果 码 C 由 码 字 集合 {c;，i 一 0, 1, .... M 一 1} 中 的 码 字 组 成 ， 那么 该 码 的 最 小 距离 为 d*= 
min d(c;, c)，i 关 j。 一 个 最 小 距离 为 4 的 (n,k) 码 有 时 候 记 为 (n,k,d) 码 。 


定义 3.7 一 个 码 的 最 小 重量 (Minimum Weight) 是 所 有 非 索 码 字 的 最 小 重量 ， 记 为 w'。 
定义 3.8 一 个 线性 码 具 有 下 述 性 质 : 
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(1) 两 个 属于 该 码 的 码 字 的 和 仍 是 一 个 属于 该 码 的 码 字 。 

(2) 全 霍 字 总 是 一 个 码 字 。 

(3) 一 个 线性 码 的 两 个 码 字 之 间 的 最 小 距离 等 于 任何 非 雷 码 字 的 最 小 重量 ， 即 4d" 一 w'，。 

注意 ， 如 果 两 个 码 字 的 和 是 另外 一 个 码 字 ， 则 该 两 个 码 字 的 差 也 将 仍然 是 一 个 合法 码 字 。 
例如 ， 若 c1、cs 和 c3 是 码 字 ， 且 ci+cz=cs， 那 么 有 cs 一 ci 三 cz。 所 以 ， 对 一 个 线性 分 组 码 ， 全 
零 码 字 必 为 一 个 合法 码 字 (一 个 码 字 自 减 的 结果 ) 。 

定理 3.1 对 于 一 个 线性 码 ， 它 的 最 小 距离 就 等 于 码 的 最 小 重量 ， 即 d* 一 w'。 

直观 证 明 : 任何 码 字 ci 和 cj 之 间 的 距离 dj 就 是 由 ci 一 c) 所 形成 的 码 字 的 重量 。 因 为 该 码 为 线 
性 的 ,任何 两 个 码 字 的 差 是 另 一 个 合法 码 字 。 故 非 替 码 字 的 最 小 重量 就 反映 了 码 的 最 小 距离 。 





例 3.5 码 C={0000，1010，0101，1111} 是 一 个 分 组 长 度 n=4 的 线性 分 组 码 。 观 察 码 字 之 间 
所 有 十 种 可 能 的 和 : 
0000+0000 =0000，0000+ 1010= 1010，0000+0101=0101， 
0000+1111=1111，1010+ 1010=0000，1010+0101= 1111， 
1010+1111=0101, 0101+0101=0000, 0101+1111= 1010， 
1111+1111=0000 


它们 都 在 C 中 ， 全 零 码 字 也 在 C 中 。 该 码 的 最 小 距离 为 4 =2。 为 了 验证 这 个 线性 码 的 最 小 距离， 
我 们 可 确定 所 有 码 字 对 ( 共 (，] -6 对 ) 之 间 的 距离 ， 


ad(0000, 1010) =2, d(0000, 0101) = 2, d(0000, 1111)=4 
d(1010,0101)=4, d(1010, 1111)=2, d(0101, 1111)=2 
我 们 观察 到 这 个 码 的 最 小 距离 为 2。 
注意 例 3.4 中 给 出 的 码 不 是 线性 的 ， 因 为 1010+ 1111=0101 不 是 一 个 合法 的 码 字 。 即 使 全 
零 字 是 个 合法 码 字 ， 它 也 并 不 保证 线性 。 全 零 码 字 的 出 现 是 线性 的 必要 条 件 但 不 是 充分 条 件 。 
为 了 使 纠 错 码 容 易 使 用 、 理 解 和 分 析 ， 对 它们 加 一 些 代数 结构 会 有 所 帮助 。 我 们 将 很 快 
证 明 ， 用 一 些 能 实现 数学 运算 (如 加 、 减 、 乘 、 除 ) 的 字母 表 将 会 很 有 用 。 





定义 3.9 ”一 个 域 F 就 是 一 些 元 素 的 全 合 ， 具 有 满足 下 列 性 质 的 两 种 运算 二 (加 法 ) 和 - 
(来 法 ): 

(1) fF 在“ 十” 和“:” 下 是 封闭 的 ， 即 若 a 和 6b 在 FF 中 ， 则 a 十 b 和 a . b 也 在 FF 中 。 对 中 所 
有 的 a、b 和 c， 满 足下 列 性 质 : 

(2) 交换 律 : a+b=b+a, a.:b=b'a 

(3) 结合 律 : (a+b)+c=a+(b+c), a:(b:c)=(a:b):c 

(4) 分 配 律 : a : (b+c)=a:bta:c 
进一步 ， 天 中 必须 丰 在 元 素 0 和 1， 满 足 

(5) a+0=a 

(6)a: 1=a 

(7) 对 玉 中 任意 4a， 存 在 加 法 六 元 (一 a)， 使 4 十 (一 a)=0。 

(8) 对 中 任意 a 了 0， 存 在 来 法 逆 元 (a 1)， 使 4 - a !=1。 

以 上 性 质 对 含有 有 限 和 无 限 个 元 素 的 域 都 成 立 。 具 有 有 限 个 元 素 (比如 说 gq 个 ) 的 域 称 为 
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伽 罗 瓦 域 (Galois Field) 并 记 为 GF(q)。 若 只 满足 前 7 条 性 质 ， 则 称 为 环 (ring) 。 





例 3.6 考虑 其 中 有 4 个 元 素 {0，1，2，3} 的 GF(4)， 加 法 和 乘法 表 为 : 





应 该 注意 到 这 里 的 GF(4) 中 的 加 法 不 是 模 4 加 法 。 





我 们 定义 一 个 向 量 空间 CF(9) ， 它 是 GF(9) 中 元 素 的 "元 数组 的 集合 。 线 性 分 组 码 可 以 看 
做 CF(9) 上 的 n 元 数组 (长 为 x 的 向 量 ) 的 一 个 集合 ， 满 足 任意 两 个 码 字 的 和 还 是 一 个 码 字 ， 
任意 一 个 码 字 与 域 上 一 个 元 素 的 乘积 也 是 一 个 码 字 。 因 此 线性 分 组 码 是 GF(q") 的 一 个 子 空间 。 

设 5 为 一 个 长 度 为 n 且 分 量 在 GF(g) 上 的 向 量 集合 。5 中 所 有 向 量 的 线性 组 合 构 成 的 集合 称 
为 5 的 线性 扩张 ， 记 为 <5>。 因 此 线性 扩张 是 由 5 生成 的 GF(q") 的 一 个 子 空间 。 给 定 GF(q") 的 任 
意 子 集 5， 可 以 得 到 一 个 由 S$ 生 成 的 线性 码 C = <$>， 它 恰好 包含 下 列 码 字 : 

(1) 全 零 码 字 。 

(2) S 中 所 有 的 字 。 

(3) $ 中 两 个 或 两 个 以 上 的 字 的 所 有 线性 组 合 。 





例 3.7 设 $={1100，0100，0011}。S 的 所 有 可 能 线性 组 合 为 1100 +0100 = 1000，1100 填 
0011=1111，0100+0011=0111，1100+0100+0011=1011。 

因此 ，C=<S> =({0000，1100，0100，0011，1000，1111，0111，1011}。 该 码 的 最 小 距 
离 为 w(0100)= 1。 


例 3.8 设 S$={12，21} 是 定义 在 GF(3) 上 的 。GF(3)= {0, 1,2} 上 的 加 法 和 乘法 表 为 ; 





12 和 21 的 所 有 可 能 线性 组 合 为 : 
12+21=00, 12+2(2D)=21, 2(12)+21=12。 
因此 C=<$>={00,，12, 21, 00, 21, 12}={00，12,，21}。 





3.3 线性 分 组 码 的 矩阵 描述 


正如 我 们 前 面 观 察 到 的 ， 任 意 线性 码 C 都 是 GF(4") 的 一 个 子 空 间 。 任 意 基 向 量 组 都 可 以 生 
成 这 个 码 空间 。 因 此 我 们 可 以 定义 一 个 生成 矩阵 G， 它 的 行 构成 子 空间 的 基 向 量 。G 的 行将 是 
线性 独立 的 ， 因 此 ， 行 的 线性 组 合 可 以 用 于 生成 C 中 的 码 字 。 生 成 矩阵 将 是 秩 为 K 的 Kx m" 阶 所 
阵 。 因 为 基 向 量 组 的 选取 不 是 惟一 的 ， 所 以 对 一 个 给 定 的 线性 码 ， 它 的 生成 矩阵 不 是 惟一 的 。 
生成 矩阵 把 一 个 长 为 的 向 量 转 化 (编码 ) 为 一 个 长 为 x 的 向 量 。 设 输入 向 量 (未 编码 的 
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符号 ) 用 读 示 ， 则 编码 后 的 符号 将 由 
c=iG (3-1) 
给 出 ， 其 中 c 称 作 码 字 ， 而 i 称 作 信 息 字 。 
生成 矩阵 提供 了 一 种 简明 而 有 效 地 表示 一 个 线性 分 组 码 的 方法 。& x 7 阶 和 矩阵 可 以 生成 % 个 码 
字 。 因 此 ， 我 们 只 需要 一 个 生成 矩阵 而 不 需要 含 q' 个 码 字 的 查询 表 。 这 对 大 码 的 储存 空间 是 极 大 
的 节省 。 例 如 二 元 (46, 24) 码 的 总 码 字 数 为 2*=1 777 216， 它 的 码 字 的 查询 表 将 有 n x 2*= 
771751 936 (bit)。 另 一 方面 ， 若 我 们 使 用 生成 矩阵 ， 需 要 的 总 储存 量 将 是 nxk=46x24=1104 (bit)。 


例 3.9 芳 虑 一 个 生成 矩阵 





0 
= -tool 1 0| -oo -to 1 上 -mal 
101 
-lol 中 [101]， co 1 -0m 


因此 ， 这 个 生成 矩阵 生成 的 码 为 C= {000，010，101，111}， 可 以 观察 得 到 这 是 一 个 (3,2) 码 。 





3.4 等 价 码 


定义 3.10 集合 S= {Xi, X2,…, XA} 上 的 一 个 置 措 是 S 到 自身 的 一 个 一 对 一 映射 。 一 个 置 搁 
可 以 表示 如 下 : 
如 2 kn 
J l . < (3-2) 
flx) flx2) … fx) 


定义 3.11 两 个 g 元 码 称 为 等 价 的 ， 如 果 一 个 可 以 由 另 一 个 通过 下 面 一 种 或 两 种 运算 得 到 : 

(1) 对 在 固定 位 置 上 的 符号 做 置换 。 

(2) 对 码 的 位 置 做 置换 。 

假定 一 个 包含 MM 个 码 字 的 码 用 Mxn 阶 和 矩阵 列 出 ， 其 中 行 表 示 码 字 。 运 算 (1) 所 对 应 的 是 对 
给 定 列 中 的 符号 进行 重 贴标签 ， 运 算 (2) 表 示 算 阵 的 列 的 重新 排列 。 





例 3.10 考虑 分 组 长 度 为 3 的 三 元 码 (分 量 属于 (0, 1,2} 的 码 ) 
2 0 1 

0 
2 


一 





如 果 我 们 在 第 2 列 使 用 置换 0 一 2，2 一 1，1 一 0， 在 第 3 列 使 用 置换 1 一 2，0 一 1，2 一 0， 可 得 到 
2 2 2 

CI=Jl 1 1 

0 0 0 

码 C1 与 一 个 长 度 为 3 的 重复 码 等 价 。 注 意 原来 的 码 不 是 线性 的 ， 但 它 与 一 个 线性 码 等 价 。 
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定义 3.12 ”两 个 线性 4 元 码 称 为 等 价 的 ， 如 果 一 个 可 以 由 另 一 个 通过 下 面 一 种 或 两 种 运算 
得 到 : 

(1) 用 非 替 常量 去 来 它 的 分 量 。 

(2) 对 码 的 位 置 做 置换 。 

注意 定义 3.11 中 我 们 定义 的 等 价 码 不 一 定 是 线性 的 。 

定理 3.2 ”两 个 Exm 矩 阵 中 若 一 个 可 以 由 另 一 个 通过 一 系列 下 述 变 换 得 到 ， 则 它们 生成 的 
GF(q) 上 的 (n,k) 线性 码 等 价 : 

(1) 对 行 置 换 。 

(2) 对 行 乘 以 一 个 非 零 常 量 。 

(3) 把 一 行 来 以 一 个 常量 然后 加 到 另 一 行 上 。 

(4) 对 列 置 换 。 

(5) 对 任意 列 乘 以 一 个 非 震 常 量 。 

证 明 : 前 三 种 运算 (只 是 行 变换 ) 保留 了 生成 矩阵 的 行 的 线性 独立 性 ， 那些 变换 只 是 改 
变 了 基 。 最 后 两 种 运算 ( 列 变 换 ) 把 给 阵 变 成 能 生成 等 价 码 的 一 个 算 阵 。 

定理 3.3 ”一 个 生成 矩阵 可 以 简化 成 系统 型 (systematic form， 也 称 为 生成 矩阵 的 标准 型 ) 
G=[LP]， 其 中 7 是 上 xK 单 位 矩阵 ， 书 是 一 个 上 Ex (n 一 ) 阶 算 阵 。 

证 明 : 任意 生成 矩阵 的 K 个 行 (大 小 为 kxn) 是 线性 独立 的 。 所 以 通过 基本 行 变换 和 列 置 
换 可 以 得 到 一 个 阶梯 型 的 等 价 的 生成 矩阵 ， 这 个 夫 阵 将 是 [7| 问 型。 





例 3.11 考虑 GF(3) 上 一 个 〈4,3) 码 的 生成 矩阵 


0 1 2 1 
G=|.10 10 
1221 


我 们 用 + 表示 第 i 行 ， 用 cj 表示 第 j 列 。 将 7; 代 换 为 /一 7, 一 r 可 得 到 (注意 在 GF(3) 中 ， 一 1=2 
且 一 2=1， 因 为 1+2=0， 见 例 3.6 中 的 表格 ) 


0 1 
G=|1 0 
0 1 


DDD- 
所 吓 一 
CE] 


接 下 来 我 们 将 r 代 换 为 ri 一 r;， 得 到 


000 1 
G=11 0 1 0 
0 1 2 0 


最 后 ， 做 移 位 c 一 cj，ci 一 cz，c: 一 6 及 c3 一 cs， 可 以 得 到 标准 型 的 生成 矩阵 


1 0 0 0 
C=|010 1 
0 0 1 


2 


=[71P] 
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3.5 奇偶 校 验 矩 阵 


设计 好 码 的 目标 之 一 就 是 有 好 的 编码 和 译 码 方法 。 到 目前 为 上 上， 我 们 学 习 了 用 一 个 生成 
和 矩阵 来 有 效 生成 一 个 线性 分 组 码 。 用 输入 向 量 (未 编码 的 字 ) 乘 以 生成 矩阵 就 得 到 码 字 。 可 
以 用 类 似 的 构想 检测 一 个 码 字 是 否 合法 吗 ? 答案 是 肯定 的 ， 对 一 个 给 定 的 码 ， 这 样 的 矩阵 称 
为 奇偶 校 验 矩 阵 (Parity Check Matrix)， 记 为 HH。 对 一 个 奇偶 校 验 和 矩阵 有 
cH"=0 (3-3) 
其 中 c 是 个 合法 的 码 字 。 因 为 c=iG, 故 有 iGH"=0。 要 使 这 个 等 式 对 所 有 合法 的 信息 字 都 成 立 ， 
必 有 
CE =0 (3-4) 


奇偶 校 验 和 矩阵 的 大 小 为 (4 一 由 Xn。 奇偶 校 验 和 矩阵 提供 了 一 个 检测 是 否 发 生 错 误 的 简单 方 
法 。 如 果 收 到 的 字 (在 接收 端 ) 与 互 的 转 置 的 乘积 是 一 个 非 零 向 量 ， 这 说 明 发 生 了 错误 。 但 
当 传输 的 码 字 中 的 错误 数目 超过 编码 方案 所 设计 的 错误 数目 允许 范围 时 ， 这 种 方法 可 能 会 失 
败 。 我 们 将 很 快 看 到 非 零 乘积 eH" 不 仅 帮 我 们 检测 错误 ， 而 且 在 某 些 条 件 下 还 可 以 纠正 错误 。 
假定 生成 矩阵 以 系统 型 G= [LIP] 给 出 。 和 矩阵 P 称 为 系数 矩阵 (Coefficient Matrix) 。 那 么 奇 
偶 校 验 矩 阵 将 定义 为 
H=[- PI7) (3-5) 


其 中 已 表示 矩阵 P 的 转 置 。 这 是 因为 


GE7 =[1| P| =0 (3-6) 


因为 一 个 码 的 生成 矩阵 的 选取 不 是 惟一 的 ， 奇 侦 校 验 和 矩阵 也 不 是 惟一 的 。 给 定 一 个 生成 
算 阵 G， 我 们 可 以 确定 相应 的 奇偶 校 验 乍 阵 ， 反 过 来 也 一 样 。 因 此 奇偶 校 验 矩 阵 豆 可 以 完全 确 
定 一 个 码 。 

从 式 (3-3) 可 得 ， 在 对 应 正 的 行 向 量 相 加 为 零 向 量 “0” 的 位 置 上 ，c 的 分 量 必 为 1。 现 
在 我 们 知道 一 个 码 字 中 “1” 的 个 数 与 其 汉 明 重量 一 致 。 因 此 ， 一 个 线性 分 组 码 的 最 小 距离 4 
就 是 昌 H' 中 满足 和 为 替 向 量 的 行 向 量 的 最 小 个 数 。 对 于 非 二 元 的 情况 ,由 码 字 确定 重量 时 需 者 
虑 互 的 列 向 量 。 





例 3.12 一 个 (7,4) 线性 分 组 码 的 生成 矩阵 为 


1000 10 1 
G 0 100 1 1 1 
“I0010010 
000 10 1 0 
i101 1 100 
矩阵 P 为 |! 1 1|， 它 的 转 置 P" 为 |0 1 1 1|。 观 察 到 在 二 元 情况 下 ，-- 1= 1 的 事实 ， 我 
0 1 0 
1 1 0 0 
0 1 0 


入 了 蓝 纠 昏 线性 分 组 码 69 


们 可 以 将 奇偶 校 验 和 矩阵 写 为 
H=[-P’I1] 


1 100 100 
=|I0 1 1 10 1 0 
1 100001 


注意 奇偶 校 验 矩阵 及 的 第 1、5 和 7 列 的 和 为 零 向 量 ， 因 此 ， 对 这 个 码 有 d’ = 3。 





定理 3.4。” 码 C 有 一 个 汉 明 重量 等 于 或 小 于 w 的 非 举 码 字 的 充分 必要 条 件 为 万 中 必 存 在 w 个 
线性 相关 的 列 。 | 

证 明 : 考虑 一 个 码 字 cEC ， 设 c 的 重量 为 wn， 这 说 明 c 中 有 w 个 非 零 分 量 和 (n 一 w) 个 零 分 
量 。 如 果 我 们 把 那 w 个 替 分 量 扔 掉 ， 则 从 关系 式 cH "二 0， 可 以 肯定 吾 中 有 w 个 列 线性 相关 。 

相反 ， 如 采 召 有 w 个 线性 相关 的 列 ， 则 有 一 个 至 多 有 w 个 列 的 线性 组 合 为 震 ， 这 w 个 非 零 系 
数 就 定义 了 一 个 重量 小 于 或 等 于 w 的 码 字 满足 cH"==0。 


定义 3.13 ”一 个 (n, k) 标 统 码 (systematic code) 是 一 个 分 组 长 度 为 n 的 码 字 的 前 k 个 符 
号 为 信息 符号 本 身 ( 即 未 编码 的 向 量 )， 而 后 (n 一 k) 个 蔡 号 为 奇偶 校 验 符号 (parity symbol) 
的 码 。 





例 3.13 下 面 是 GF(3) 上 的 一 个 (5,2) 系统 码 


序 号 信息 符号 (k=2) 码 字 (n=5) 
1. 00 00 000 
2. 01 01 121 
3. 02 02 220 
4. 10 10 012 
5. 11 11 221 
6. 12 12 210 
7. 20 20 020 
8. 21 21 100 
9. 22 22 212 





注意 总 的 码 字数 为 3*=3?=9。 每 一 个 码 字 开 始 于 信息 符号 ， 后 面 跟 了 三 个 奇偶 校 验 符号 。 在 上 
表 中 信息 字 01 的 奇偶 校 验 符号 为 121。 一 个 系统 型 〈 标 准 型 ) 的 生成 矩阵 将 生成 一 个 系统 码 。 





定理 3.5 一 个 (n,k) 线性 码 的 最 小 距离 (最 小 重量 ) 有 下 述 界 


d<n-k+t+l (3-7) 
这 称 为 Singleton 界 (Singleton Bound ) 。 
证 明 : 我 们 可 以 把 所 有 线性 分 组 码 化 简 为 它们 等 价 的 系统 型 。 一 个 系统 码 可 以 有 一 个 信 
息 符 号 和 (n 一 k) 个 奇偶 校 验 符 号 。 最 多 全 部 奇偶 校 验 符 号 都 为 非 索 的 ， 致 使 码 字 的 总 重量 
为 (n 一 kK 十 1)。 因 此 没有 任何 码 字 的 重量 可 以 超过 (n 一 k 十 1)， 这 也 时 出 了 下 述 最 大 距离 码 
的 定义 。 
定义 3.14 一 个 最 大 距离 码 (Maximum Distance Code) 满足 d'=n 一 Kk 十 1。 
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熟悉 了 线性 码 最 小 距离 的 概念 后 ， 我 们 将 研究 这 个 最 小 距离 是 怎么 跟 这 个 码 所 能 检测 的 
并 可 能 纠正 的 错误 的 个 数 联 系 起 来 。 所 以 我 们 到 接收 端 看 一 下 线性 分 组 码 的 译 码 方法 。 


3.6 线性 分 组 码 的 译 码 


言 道 编码 的 基本 目标 就 是 检测 并 纠正 消息 在 通过 有 噪 信道 传输 时 产生 的 错误 。 信 道中 的 
噪声 随机 地 将 所 传输 的 码 字 的 符号 转变 为 其 他 符号 。 假 如 噪声 只 改变 传输 码 字 的 一 个 符号 ， 
则 该 有 错 码 字 与 原来 传输 的 码 字 的 汉 明 距离 为 1。 如 果 噪 声 改 变 了 ;个 符号 ( 即 码 字 的 1 个 符号 
都 发 生 了 错误 ) ， 则 收 到 的 字 与 原来 传输 的 码 字 的 汉 明 距离 为 fr。 给 定 一 个 码 ， 它 能 检测 到 多 
少 个 错误 ， 又 能 纠正 多 少 个 错误 呢 ? 让 我 们 先 看 一 下 检测 方面 的 问题 。 

一 个 码 字 只 要 不 是 转变 成 另 一 个 合法 的 码 字 ， 就 能 检测 到 错误 。 如 果 码 字 之 间 的 最 小 距 
离 为 4 ， 要 使 一 个 码 字 转变 成 另 一 个 码 字 ， 错 误 模 式 的 重量 必须 至 少 为 心 。 因 此 一 个 (PK,d) 
码 将 至 少 可 以 检测 所 有 重量 小 于 或 等 于 (d' 一 1) 的 非 零 错误 模式 。 另 外 ， 至 少 有 一 个 重量 为 
4 的 错误 模式 不 能 被 检测 到 ， 这 与 两 个 距离 最 近 的 码 字 相对 应 。 可 能 有 些 重量 大 于 或 等 于 dr 的 
错误 模式 也 能 被 检测 到 ， 但 并 不 是 所 有 重量 为 4 的 错误 模式 都 能 被 检测 到 。 





例 3.14 码 C,= {000，111} 的 最 小 距离 为 3， 因 此 重量 为 2 或 1 的 错误 模式 可 以 被 检测 到 。 这 
说 明 任 意 属于 集合 {011，101，110，001，010，100} 的 错误 模式 都 能 检测 到 。 

下 面 考 虑 码 C:={001，110，101}， 它 的 = 1。 我 们 没 法 说 这 个 码 能 检测 多 少 错误 ， 因 
为 4 一 1=0。 但 是 重量 为 1 的 错误 模式 010 可 以 被 这 个 码 检测 到 ， 但 它 不 能 检测 所 有 重量 为 1 的 
错误 模式 ， 例 如 错误 向 量 100 就 不 能 被 检测 到 。 





接 下 来 让 我 们 看 一 下 纠 错 问题 。 它 的 目标 就 是 在 接收 的 字 的 基础 上 对 原来 传输 的 码 字 作 
最 佳 猜测 。 怎 样 才 算 一 个 明智 的 译 码 策略 呢 ? 因为 传输 的 只 可 能 是 一 个 合法 码 字 ， 逻 辑 上 应 
该 判断 那个 与 接收 到 的 字 最 近 的 (以 汉 明 距离 衡量 ) 合法 码 字 是 实际 传输 的 。 换 名 话说 ， 就 
是 假定 与 接收 到 的 字 最 相像 的 那个 码 字 是 被 传送 的 。 这 种 策略 称 为 最 近邻 居 译 码 (Nearest 
Neighbour Decoding) ， 因 为 我 们 选取 了 在 汉 明 距离 度量 下 最 接近 接收 到 的 字 的 码 字 。 

也 可 能 有 多 个 码 字 与 接收 到 的 字 有 相同 的 汉 明 距离 。 在 这 种 情况 下 接收 方 可 做 下 面 的 一 
件 事 : 

(1) 任意 选择 相同 距离 的 邻居 中 的 一 个 。 

(2) 要 求 发 送 端 重新 传送 。 

为 了 确保 收 到 的 字 (最 多 有 ! 个 错误 ) 离 原始 码 字 最 近 ， 而 离 所 有 其 他 码 字 都 更 远 些 ， 我 
们 必须 对 码 的 最 小 距离 提出 下 面 的 条 件 : 

d >2t+1 (3-8) 


能 纠正 不 多 于 ! 个 错误 的 条 件 可 以 由 图 3-2 表 示 。 渗 码 球 
考虑 所 有 g 元 n 维 数组 空间 。 每 个 长 为 的 g 元 向 量 可 
以 表示 为 这 个 空间 的 一 个 点 。 于 是 每 个 码 字 可 以 用 
这 个 空间 的 一 个 点 描述 ， 并 且 所 有 汉 明 距离 小 于 或 





等 于 {的 字 都 位 于 以 该 码 字 为 中 心 、 半 径 为 的 球 中 。 ' d'>2t+1 : 
如 果 码 的 最 小 距离 为 da 且 满 足 条 件 d 之 21+1， 那 么 | 


这 些 球 不 会 重 琶 。 任 意 一 个 接收 到 的 在 某 个 球 内 的 图 3-2 译 码 球 
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向 量 (仅仅 是 一 个 点 ) 将 离 它 的 中 心 《表示 一 个 码 字 ) 比 离 其 他 码 字 的 距离 更 近 。 我 们 称 与 码 
字 相 关 的 球 为 译 码 球 (Decoding Sphere)。 因 此 可 以 毫 不 含糊 地 用 “最 近邻 居 ” 方 法 对 接收 到 
的 向 量 译 码 。 


图 3-2 说 明 在 以 c 为 中 心 、 半 径 为 的 球 内 的 字 将 被 译 码 为 c。 对 于 明确 译 码 ， 应 满足 小 >21+ 1。 
条 件 d 之 21+ 1 考虑 到 了 最 坏 的 情况 。 但 也 可 能 不 满足 上 述 条 件 ， 而 仍然 可 以 纠正 ! 个 错误 ， 
如 下 例 所 示 。 





例 3.15 “考虑 码 C= {00000，01010，10101，11111}。 它 的 最 小 距离 为 4' =2。 假 设 被 传送 的 
码 字 是 11111， 而 接收 到 的 字 是 11110， 即 := 1 (在 第 5 个 分 量 上 发 生 了 1 个 错误 )。 现 在 有 : 
d(11110, 00000)=4, d(11110，01010)=2 
d(11110, 10101)=3, d(11110, 11111)=1 
根据 最 近邻 居 译 码 法 ， 我 们 可 以 确定 11111 是 所 传输 的 码 字 。 尽 管 一 个 纠 错 (t= 1) 在 这 种 情 
况 下 做 到 了 ， 却 有 d <2t+1=3。 因 此 即使 在 d* <2t+ 1 时 也 可 能 纠 错 。 但 是 很 多 情况 下 这 个 码 
一 个 纠 错 都 不 可 能 实现 。 例 如 若 传 送 的 码 字 是 00000 而 接收 到 的 码 字 是 01000， 
d(01000，00000)=1，d(01000，01010)= 1 
d(01000, 10101)=4, d(01000,，11111)=4 
在 这 种 情况 下 ， 如 果 没 有 一 个 明显 的 判决 ， 就 需要 措 硬 币 来 选择 了 。 





定义 3.15 ”一 个 不 完全 译 码 器 (Incomplete Decoder) 接收 到 的 码 字 只 在 能 找到 一 个 离 它 
最 近 的 码 字 的 情况 下 才能 译 码 。 在 不 确切 的 情况 下 ， 译 码 器 声明 收 到 的 字 无 法 辨认 。 发 送 方 
就 被 要 求 重新 传送 。 一 个 完全 译 码 器 (Complete Decoder) 对 收 到 的 任何 字 都 译 码 ， 即 它 试图 
对 任何 收 到 的 字 都 找 一 个 对 应 的 码 字 ， 即 使 有 时 它 需要 猜 。 

例 3.15 就 是 一 个 完全 译 码 器 。 当 有 一 种 好 的 猜测 比 无 任何 猪 测 要 好 的 情况 下 ， 就 用 到 完全 
译 码 器 。 现 实生 活 中 的 多 数 译 码 器 都 是 不 完全 译 码 器 ， 它 们 道 常 发 送 一 个 消息 给 发 送 端 要 求 
重新 传送 。 





例 3.16 国际 标准 书号 (ISBN) 是 一 个 在 GF(11) 上 的 分 组 长 度 n=10 的 线性 分 组 码 。 所 使 
用 的 符号 是 0，1，…，9，X。 为 避免 使 用 “10 (这 可 能 造成 “10 ”和 两 个 连续 符号 “1” 和 
“0” 的 混 靖 ) ， 我 们 使 用 符号 “X -  。ISBN 满 足下 面 的 限制 条 件 : 


9 
by (10 一 De; = 0 计算 (mod 11) (3-9) 


比如 ， 考 虑 ISBN 为 0-07-048297-7， 我 们 对 此 ISBN 做 下 面 的 验证 : 

10 xO0+9 xO0+8 x7+7xO0+06x4+5 x 8+4xX2+3 x9+2x7+1 x7=176 =0 (mod 11) 

因此 ，0-07-048297-7 是 一 个 合法 的 ISBN。 

由 于 ISBN 是 一 个 线性 分 组 码 ， 因 此 全 零 码 字 也 是 一 个 合法 的 码 字 。 同 样 1000000001 也 是 
合法 的 ISBN。 所 以 此 码 的 最 小 重量 是 4*=2。 理 论 上 ， 它 不 能 纠 错 并 且 只 能 检测 只 有 一 位 的 错 
误 。 但是， 假设 ISBN 的 一 位 被 涂 脏 ， 我 们 有 0-07-048e97-7。 我 们 可 以 通过 解 方程 

10 x 0+9x0+8x7+7x0+6x4+Sx8+4xe+3x9+2x7+1x7=176=00nod 11) 

计算 e 的 值 ， 从 而 恢复 被 涂 脏 的 数字 位 ， 即 e=2。 由 于 我 们 知道 错误 数字 的 位 置 ， 所 以 可 

以 恢复 正确 的 ISBN。 
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定义 3.16 当 一 个 收 到 的 符号 是 含糊 的 ， 或 在 接收 过 程 中 检测 到 干扰 时 ， 收 信人 就 声明 发 
生 了 一 个 删除 (erasure， 即 一 个 收 到 的 罕 号 被 删除 了)， 





例 3.17 考虑 一 个 二 元 脉冲 振幅 调制 (PAM) 方案， 其 中 5V 表 示 1，0V 表 示 0。 喉 声 的 范围 
为 I1V， 这 表明 在 接收 端 : 

如 果 收 到 的 电压 在 4V ~ 5V= 发 送 的 比特 为 1， 

如 果 收 到 的 电压 在 0V ~ 1V 一 发 送 的 比特 为 0， 

如 果 收 到 的 电压 在 1V -4V 一 发 生 了 删除 。 
因此 如 果 收 信人 在 比特 区 间 收 到 2.9V， 将 声明 发 生 了 删除 。 





一 个 信道 更 易于 发 生 错 误 或 删除 。 如 果 在 这 样 一 个 信道 中 发 生 了 ;个 错误 和 r 个 删除 ， 纠 错 
方案 应 该 能 弥补 删除 和 纠 错 。 如 果 出 现 r 个 删除 ， 该 码 在 最 坏 条 件 下 的 最 小 距离 为 4 一 +r， 这 是 
因为 删除 了 的 符号 只 能 被 抛弃 ， 而 如 果 它 们 在 计算 最 小 距离 时 用 得 到 ， 距 离 将 会 减 小 。 一 个 
简单 例子 将 说 明 这 一 点 。 考 虑 这 样 的 重复 码 ; 

0 一 00000 
1 一 11111 


这 里 d =5。 如 果 r=2， 即 有 两 个 比特 被 删除 了 (假定 是 前 两 个 比特 ) ， 我 们 将 得 到 
0 一 272000 
1 一 ?22111 

现在 ， 有 效 的 最 小 距离 为 di =d 一 r=3。 

因此 ， 对 一 个 有 i 个 错误 和 7 个 删除 的 信道 ， 有 d' 一 r 宇 2:+1， 或 者 


d'>21+r+l (3-10) 
对 一 个 没有 错误 (t=0)， 只 有 r 个 删除 的 信道 ， 有 
d'>r+l (3-11) 


下 面 我 们 稍微 正式 地 介绍 一 下 译 码 过 程 。 我 们 能 否 构造 一 些 数 学 工具 来 简化 最 近邻 居 译 
码 ? 假设 通过 有 噪 信道 传输 的 码 字 是 c= cl, c,, …, c*。 信 道中 的 噪声 改变 了 码 字 的 基 些 或 全 部 
符号 。 令 收 到 的 向 量 为 *=vm,vm, …,w。 定 义 错误 向 量 (error vector) 为 

Ee=V—C=V, V2 Va Cl C2 Co 一 eye En (3-12) 


译 码 器 需要 从 收 到 的 向 量 v 来 确定 传输 的 是 哪个 码 字 ， 也 可 以 说 ， 它 必须 确定 错误 向 量 e。 
定义 3.17 设 C 是 GF(q) 上 的 一 个 (n,k) 码 ，a 是 长 为 n 的 任意 向 量 。 则 集合 
at+C={at+x|lxEC} (3-13) 
称 为 C 的 一 个 陪 集 (Coset) 。 当 (a 一 b)EC 时 ， 我 们 称 a 和 Bb 属于 同一 个 陪 集 。 


定理 3.6 假设 C 是 GF(q) 上 的 一 个 (n,k) 码 ， 则 

(1) 任意 长 为 n 的 向 量 b 者 属于 C 的 某 个 陪 集 。 

(2) 每 个 陪 集 恰好 包含 :个 向 量 。 

(3) 两 个 陪 集 或 者 不 相交 或 者 完全 重合 (不 可 能 部 分 相交 ) 。 
(4) 若 a 十 C 是 C 的 一 个 陪 集 ,而且 bEa+C， 则 b+C=at+C。 
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证 明 : 
(1)b=b+0Eb+C, 
(2) 注意 到 Xx 一 Qa 十 X 是 C 一 a 十 C 上 的 一 一 映射 ， 因 此 a 十 C 含 有 的 元 素 个 数 与 C 相 同 ， 即 等 于 4。 
(3) 假设 g 十 C 与 b+C 相 交 ， 即 它们 至 少 有 一 个 公共 向 量 。 设 vE(a 十 OMm(b+C)。 则 必 邦 在 
XxX,yEC， 使 
v=a+x=b+y 
或 b=a+x—y=a+z 
其 中 zEC (因为 两 个 码 字 的 差 也 是 一 个 码 字 )。 故 有 
b+C=a+C+z 或 (b+COC)C(a+O) 
类 似 地 可 以 证 明 (4a 二 C)C(b+C)。 从 这 两 条 我 们 得 到 (8 二 C)=(CG+C)。 
(4) 因为 bE(a+C)， 这 表明 对 某 个 YEC 有 b= 二 a 十 x。 对 任意 p+yEb 二 C， 有 
bry=(a+x)+y=a+(x+yEa+C 
因此 b 二 CEa 二 C。 另 一 方面 ， 对 任意 a 十 zEla ++C)， 有 
a+z=(b—x)+z=b+(z—xEb+C 
因此 a 二 CEb 十 C， 从 而 b+C=at+C。 


定义 3.18 一 个 陪 集 中 具有 最 小 重量 的 向 量 称 为 陪 集 疯 (Coset Leader) 。 如 果 有 多 于 一 个 
向 量具 有 最 小 重量 ， 则 从 中 随机 选择 一 个 定 为 陪 业 首 。 





例 3.18 设 C 为 一 个 二 元 (3,2) 码 ， 其 生成 矩阵 如 下 : 
-| 0 ,| 
0 1 0 
例如 C= {000，010，101，111}。C 的 陪 集 为 
000+C=000，010，101，111 
001+C=001，011，100，110 
注意 所 有 的 8 个 向 量 都 被 这 两 个 陪 集 巴 盖 了 。 正 如 我 们 已 经 看 到 的 〈 在 上 面 定 理 中 ) ， 如 果 a + 
C 是 C 的 一 个 陪 集 而 且 pEa+C， 则 我 们 有 8+C=a+C。 
因此 ， 上 述 已 经 列 出 了 所 有 陪 集 。 为 了 演示 ， 我 们 在 下 面 写 出 全 部 可 能 情况 
010+C=010, 000,111, 101 
011+C=011, 001, 110, 100 
100+C=100, 110, 001, 011 
101+C=101, 111, 000, 010 
110+C=110, 100, 011, 001 
111+C=111, 101, 010, 000 
可 以 看 到 所 有 陪 集 已 经 覆盖 了 。 
因为 两 个 陪 集 或 不 相交 或 重合 (由 定理 3.6)，GF(g") 上 的 所 有 向 量 可 以 写 为 
GF(g) = CU(a +C)U(e+CIU…Ua +O) 
其 中 t=qg" 一 1。 
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定义 3.19 一 个 (n,) 码 C 的 标准 阵列 (Standard Array) 是 一 个 GF(g") 上 会 部 向 量 的 
9"”“X 4* 阵 列 ， 它 的 第 一 行 由 码 C 构 成 (0 在 最 左边 )， 其 他 行 是 陪 集 q 十 C， 都 以 相应 次 序 排 
列 ， 陪 集 首 放 在 最 左边 。 | 

构造 标准 阵列 的 步骤 为 ; 

(1) 在 第 一 行 从 全 零 码 字 开 始 写 下 所 有 的 合法 码 字 。 

(2) 选择 不 在 第 一 行 的 一 个 最 小 重量 的 向 量 a,， 在 第 二 行 中 列 出 陪 集 a, + C 的 元 素 使 aj 十 x 


在 xEC 的 下 边 。 
(3) 接 下 来 再 选 一 个 最 小 重量 的 向 量 a。 (不 在 前 两 行 中 ) ， 然 后 在 第 三 行 中 列 出 陪 集 a +TC 
的 元 素 使 a;+x 在 xEC 的 下 边 。 


(4) 继续 此 过 程 直到 列 出 所 有 陪 集 并 且 GF(g") 中 所 有 的 元 素 都 恰好 出 现 过 一 次 。 





例 3.19 考虑 码 C= {0000，1011，0101，1110}。 相 应 的 标准 阵列 为 
码 字 一 0000 1011 0101 1110 
1000 0011 1101 0110 
0100 111] 0001 1010 
0010 1001 0111 1100 
1 
陪 集 首 


注意 每 项 都 是 它 的 陪 集 首 和 码 字 的 和 。 


我 们 现在 介绍 一 下 利用 标准 阵列 译 码 的 概念 〈 从 接收 到 的 码 字 中 得 到 信息 符号 ) 。 因 为 标 
谁 阵列 包括 了 GF(q)" 中 所 有 的 字 ， 接 收 到 的 字 总 是 标准 阵列 中 的 某 个 元 素 。 如 果 接 收 到 的 字 
是 个 合法 码 字 ， 那 么 可 以 下 结论 说 没有 错误 发 生 ( 这 个 结论 可 能 是 错 的 ， 就 是 当 品 声 把 一 个 
合法 码 字 改变 成 另 一 个 合法 码 字 时 ， 但 它 的 错误 概率 很 低 ) 。 在 接收 到 的 字 " 不 属于 合法 码 字 
集合 时 ， 我 们 推测 错误 。 译 码 器 则 声明 陪 集 首 就 是 错误 向 量 e， 然 后 译 码 为 一 e， 这 就 是 在 
同一 列 最 上 边 的 那个 码 字 。 因 此 ， 我 们 把 接收 到 的 字 译 为 包含 该 字 的 列 的 最 上 边 的 那个 码 字 。 





例 3.20 假设 使 用 的 码 为 前 例 中 的 码 C= {0000，1011，0101，1110}, 接收 到 的 字 为 v= 1101。 
因为 它 不 是 一 个 合法 的 码 字 ， 我 们 推测 错误 。 接 着 我 们 估计 四 个 可 能 的 码 字 中 的 哪 一 个 是 实际 
被 传送 的 。 如 果 我 们 利用 前 例 中 的 标准 阵列 ， 可 以 发 现 1101 在 第 三 列 ， 读 列 的 最 上 边 为 0101， 
于 是 估计 的 码 字 为 0101。 进 一 步 观 察 到 ， 

d(1101, 0000)=3, d(1101, 1011)=2 


d(1101, 010D=1, d(l101, 1110)=2 | 
错误 向 量 为 e= 1000， 即 陪 集 首 。 | 


具有 和 较 大 分 组 长 度 的 码 是 可 取 的 (尽管 不 总 是 如 此 ， 见 3.16 节 )， 因 为 大 的 码 在 码 率 方面 
更 接近 Shannon 限 。 当 我 们 取 越 来 越 大 的 码 时 (大 的 k 值 和 n 值 )， 标 准 阵 列 方法 越 来 越 不 实际 ， 
因为 大 小 为 (q” “x 的 ) 的 标准 阵列 会 变 得 大 到 不 可 操作 。 编 码 理论 的 基本 目标 之 一 就 是 要 设 
计 有 效 的 译 码 方法 。 如 果 我 们 要 建造 能 实时 工作 的 译 码 器 ， 译 码 方案 应 该 在 所 需 内 存 和 计算 量 
方面 都 可 以 实现 。 能 不 能 缩减 标准 阵列 呢 ? 答案 在 我 们 下 面 将 要 讨论 的 伴随 式 译 码 的 概念 中 。 
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3.7 伴随 式 译 码 


如 果 我 们 只 存储 标准 阵列 的 第 一 列 ， 并 在 需要 时 计算 其 他 列 ， 就 可 以 简化 标准 阵列 。 为 
了 做 到 这 点 ， 我 们 引进 错误 模式 的 伴随 式 (Syndrome) 的 概念 。 

定义 3.20 假定 是 是 一 个 (n,k) 码 的 奇偶 校 验 矩阵 。 对 任意 向 量 vEGF(qg)， 向 量 

s=vH’ (3-14) 

称 为 ?的 伴随 式 。y 的 伴随 式 有 时 候 明 确 地 写 为 SC 站。 因为 它 给 出 错误 症状 以 帮助 我 们 诊断 错误 ， 
所 以 称 为 伴随 式 (又 译 为 综合 症 )。 

定理 3.7 两 个 向 量 Y 和 ?在 C 的 同一 个 联 集 中 的 充分 必要 条 件 是 它们 的 侍 随 式 相同 。 

证 明 : 向 量 x 和 y 属 于 同一 个 陪 集 
xX+C=y+C 
x-yeC 
(x-WH'=0 
xH = yHT 
s(x) = s(y) 


tt111 


因此 在 陪 集 和 伴随 式 之 间 一 一 对 应 。 
我 们 可 以 通过 只 列 出 伴随 式 和 对 应 的 陪 集 首 来 缩减 标准 阵列 的 大 小 。 





例 3.21 我 们 现在 把 例 3.19 中 的 标准 阵列 添加 一 列 伴随 式 进行 扩张 。 原 码 为 C= {0000，1011， 
0101，1110}。 相 应 的 标准 阵列 为 
伴随 式 
码 字 一 ”0000 1011 0101 1111 00 
1000 0011 1101 0110 11 
0100 111l 0001 1010 01 
0010 1001 0111 1100 10 
1 
陪 集 首 





伴随 式 译 码 的 步骤 如 下 : 
(1) 对 接收 到 的 字 v 确 定 伴随 式 《(s =vH”)。 
(2) 在 “伴随 式 列 ”中 给 伴随 式 定位 。 
(3) 判断 相应 的 陪 集 首 ， 这 就 是 错误 向 量 e。 
(4) 从 接收 到 的 字 中 减 掉 该 错误 向 量 就 得 到 码 字 ?一 ?一 4。 
用 伴随 式 译 码 方式 建立 了 一 种 有 效 的 译 码 方法 后 ， 让 我 们 看 一 下 编码 实际 上 提供 了 多 少 优点 。 


3.8 译 码 后 的 错误 概率 ( 纠 错 概 率 ) 


定义 3.21 任意 译 码 方案 的 错误 概率 (或 字 出 错 率 ) 已 .是 译 码 器 输出 一 个 错误 码 字 的 概 
率 。 它 也 称 为 测 余 错误 率 (Residual Error Rate) 。 
假设 有 MM 个 码 字 (长度 为 )， 它 们 被 使 用 的 概率 相同 。 假 设 译 码 用 标准 阵列 。 记 a 为 重量 
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为 的 陪 集 首 的 个 数 。 我 们 假定 信道 为 BSC， 符 号 错误 概率 为 p?。 如 果 错 误 向 量 e 不 是 一 个 陪 集 
首 ， 则 译 码 出 错 。 因 此 正确 译 码 概率 为 


Po = 之 %i p 1- pp) (3-15) 


故 错误 概率 为 
a 3-16 
P=1- Sop (lp ' ) 
i=0 


让 我 们 考虑 在 分 组 长 度 为 r 比 特 的 一 个 分 组 中 存在 m 个 错误 的 情况 。 对 于 一 个 具有 景 小 距 
1 ，* 

离 d 的 线性 分 组 码 ， 最 多 有 | (4 -| 的 错误 都 是 可 以 被 纠正 的 。 在 一 个 比特 的 分 组 中 ， 出 

现 m 个 错误 的 概率 是 


n 
fn = [param (3-17) 
其 中 ，p 是 出 现 1 比特 错 误 的 概率 。 如 果 多 于 t 个 错误 发 生 时 ， 码 字 就 将 会 出 错 。 因 此 ， 码 字 出 
错 的 概率 的 上 界 可 以 表示 为 


py < 之 Prn (3-18) 


上 式 是 等 号 的 时 候 ， 我 们 称 为 理想 码 ， 后 面 将 简单 介绍 。 我 们 注意 到 ，Pw 不 可 能 小 于 把 
某 个 码 字 错误 译 成 具有 距离 4 的 另外 一 个 码 字 的 概率 。 所 以 ， 


> > "ap" (3-19) 
m=[d*/2H1 
如 果 我 们 考虑 另外 所 有 的 (M 一 D 个 码 字 , 则 可 以 得 到 上 界 。 所 有 这 些 码 字 的 距离 至 少 是 d'。 
因此 ， 联 合 界 可 以 表示 为 


d= 


| m d*—nm 
PP (1—p) - 
Posu-D， 包 机 G-20) 





例 3.22 考虑 例 3.19 中 的 标准 阵列 ， 陪 集 首 为 0000、1000、0100、0010。 因 此 m=1 (只 有 一 

个 重量 等 于 零 的 陪 集 首 )，om =3 (剩余 的 三 个 重量 都 为 1) 而 且 所 有 其 余 的 =0。 因 此 
P,,=1-{(-p) + 3p(1—p)’] 
回顾 该 码 有 4 个 码 字 ， 且 可 用 来 每 次 发 送 2 比特 。 如 果 我 们 不 采用 编码 ， 接 收 到 的 2 比特 有 错 的 
概率 为 
Poy, = 1-Pw=1-4 一 六) 

注意 到 p =0.01， 则 字 出 错 概率 (在 编码 条 件 下 ) 为 P,,,=0.0130， 而 对 无 编码 的 情况 P,,, = 
0.0199。 因 此 编码 几乎 把 字 出 错 概率 减 小 了 一 半 。 图 3-3 对 有 编码 和 无 编码 情况 下 的 P,,, 进 行 了 
比较 。 可 以 看 出 只 有 在 p<0.5 的 情况 下 编码 才 胜 过 无 编码 。 注 意 编 码 带 来 的 改进 是 以 信息 传 
输 速率 为 代价 的 ， 由 于 我 们 对 任意 两 个 信息 比特 都 要 发 送 2 个 奇偶 校 验 比特 ， 因 此 信息 传输 速 
率 减少 了 一 半 。 
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0 0.2 0.4 06 0.8 1 
图 3-3 对 2 比特 消息 有 编码 和 无 编码 下 的 Po 的 比较 


例 3.23 ”这 个 例子 帮助 我 们 更 好 地 理解 编码 的 功能 。 考 虑 一 个 符号 出 错 概 率 为 p= 10- 的 
BSC。 假 设 10 比 特长 的 字 未 经 编码 就 被 传输 了 。 设 发 送 端的 比特 速率 为 10"bits， 这 表明 每 秒 
可 以 发 送 10' 个 字 。 一 个 字 不 能 被 正确 接收 到 的 概率 为 


10 10 10 10 
(ja-mp 12] Up p + [3 a-prp t= (1 ) -py p=10% ( 字 / 秒 ) 


因此 一 秒 将 有 10““ x 10*= 1 个 字 出 错 ! 这 意味 着 每 秒 都 有 一 个 错误 而 且 它 未 被 检测 到 。 

下 面 我 们 在 未 编码 的 字 中 加 进 一 个 奇偶 校 验 比 特使 它们 变 为 11 比 特长 。 该 奇偶 校 验 使 所 有 码 
字 为 偶 校 验 ， 这 样 可 以 确保 单个 错误 可 以 被 检测 到 。 仅 当 两 个 或 更 多 比特 有 错时 编码 后 的 字 也 将 
有 错 ， 即 至 少 有 2 比特 有 错 。 少 于 2 比特 有 错 的 情况 可 以 以 概率 1 计算 出 来 。 因 此 字 错 误 概率 将 为 


11 
cap) oppo- -10np= 110p = 11x10"" 


新 的 码 率 为 10711 字 / 秒 ， 因 为 每 个 字 有 11 比 特 而 比特 速率 与 以 前 相同 。 因 此 一 秒 将 有 
(107W11) x (11 x 10-9)=10-s 个 字 有 错 。 这 表明 编码 后 每 10' 秒 = 11.5 天 将 有 一 个 字 被 错误 地 接 
收 而 未 被 检测 ! 

仅仅 把 字 长 从 10 比 特 (未 编码 ) 增加 到 11 比 特 〈 编 码 ) ， 我 们 能 使 字 出 错 率 惊 人 地 减 小 。 
对 第 二 种 情况 ， 每 次 检测 到 错误 字 时 要 求 发 送 端 重新 传输 该 字 。 

这 种 要 求 重新 传送 的 策略 叫做 自动 重复 请 求 (Automatic Repeat Request, ARQ ) 。 





如 果 我 们 有 线性 码 (n,k, d')， 我 们 使 用 它 要 么 为 了 纠 错 ， 要 么 为 了 错误 检测 (一 般 与 ARQ 
结合 使 用 )。 假 设 我 们 有 一 个 单个 纠 错 码 (d"=3) 并 在 其 个 接收 到 的 码 字 中 有 两 个 错误 。 此 种 情 
况 下 的 伴随 式 非 零 ， 说 明 有 1 位 或 者 2 位 错误 。 但 是 它 不 能 指出 是 1 位 错误 还 是 2 位 错误 。 在 此 
时 ， 需 要 进行 两 个 互 斥 操作 。 一 种 策略 是 使 用 此 码 作为 错误 检测 工具 并 请 求 重 传 。 这 种 策略 
中 我 们 不 尝试 去 纠 错 。 另 外 一 个 可 能 是 假设 只 有 1 位 错误 并 尝试 纠正 它 。 当 有 2 位 错误 发 生 时 ， 
使 用 上 述 策略 去 尝试 纠正 1 位 错误 时 可 能 会 引入 第 三 个 错误 。 如 果 我 们 计算 此 经 过 错误 纠正 的 
码 字 的 伴随 式 ， 伴 随 式 可 能 是 零 。 这 是 因为 编码 最 多 只 能 检测 出 2 位 错误 。 
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考虑 由 于 信道 编码 而 节省 的 能 量 值 是 非常 重要 的 。 在 图 3-4 中 描绘 了 错误 概率 (P,) 关 于 一 

个 普通 通信 系统 Es /No 的 曲线 。 从 图 中 可 以 看 出 ， 对 于 相间 的 P, 值 ， 使 用 编码 时 的 E, /No 比 不 

使 用 编码 时 的 Ps /No 要 少 。 因 此 编码 方案 可 以 提供 编码 增益 (Coding Gain)。 编 码 增益 使 用 dB 

来 度量 。 通 过 观察 可 以 知道 ， 如 果 P, 没 有 足够 小 ， 编 码 增益 可 能 会 是 负数 。 这 就 表明 ， 如 果 

信道 一 开始 不 是 太 差 ， 那 么 信道 编码 能 够 提供 某 种 改善 。 同 样 ， 编 码 增益 随 着 P, 的 减 小 而 增 
加 。 其 极限 值 ， 即 当 P, 一 0 时 ， 称 为 渐 近 编码 增益 《Asymptotic Coding Gain)。 





Es /No 
0 5 10 15 20 .| 25 30 


”图 34 编码 增益 图 示 


3.9 完备 码 


定义 3.22 ”对 GF(g”) 中 的 任意 向 量 4 和 任意 整数 r 之 0， 以 WU 为 中 心 、 为 下 的 理 ， 记 为 
S(u,r))， 是 集合 {vEGF(g")ld(u,vV)<r}。 


这 个 定义 可 以 用 图 3-5 来 解释 。 考 虑 码 C， 其 最 小 距离 为 (C)>27+ 1。 则 C 的 那些 以 码 字 
{ci cx …， CH)} 为 中 心 、 以 1 为 半径 的 球 将 不 相交 。 现 在 考虑 译 码 问题 。 竹 何 接收 到 的 向 量 可 以 
用 这 个 空间 的 一 个 点 来 表示 。 若 这 个 点 在 一 个 球 内 ， 则 根据 最 近邻 居 译 码 ， 它 将 被 译 码 为 所 在 
球 的 中 心 点 。 如 果 发 生 的 错误 不 多 于 ! 个 ， 则 接收 到 的 字 将 肯定 在 所 传输 的 码 字 所 在 的 球 内 ， 
从 而 可 以 正确 译 码 。 但 是 ， 如 果 有 多 于 1 个 错误 发 生 ， 它 将 脱离 这 个 球 ， 从 而 导致 译 码 错 误 。 





图 3-5 GF(q") 中 球 的 概念 
当 d(C>2++ 1 时 ，C 的 码 字 为 这 些 不 相交 的 球 的 中 心 。 
定理 3.8 半径 为 r (0<r<n) 的 球 包含 向 量 的 个 数 恰 好 为 


(0)*(7)e-n+ (0) 0- + (eg-y : (3-21) 


个 向 量 。 
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证 明 : 考虑 GF(g)" 中 的 向 量 z 和 另 一 个 与 & 的 距离 为 几 的 向 量 ， 这 说 明 向 量 ww 无 p 在 六 个 位 轩 
不 同 。 从 个 位 置 中 园 取 mm 个 位 置 的 总 选取 方法 共有 ] 种 。 现在 这 m 个 位 置 中 的 每 一 个 都 可 以 


被 《9 一 1) 个 可 能 的 符号 取代 ， 这 是 因为 总 的 符号 数 为 9， 其 中 一 个 已 经 在 u 的 那个 特定 位 置 
上 上 了。 因此 与 4 的 距离 恰 为 m 的 向 量 个 数 为 


(0)* (9)e-»+(9) (g-1) + ja- 


例 3.24 考虑 分 组 长 度 n==4 的 二 元 码 ( 即 9==2)。 与 任意 码 字 的 距离 小 于 或 等 于 2 的 向 量 个 数 为 


(oo) =1+4+6=11 


不 失 一 般 性 ， 我 们 选取 固定 向 量 &= 0000。 距 离 小 于 或 等 于 2 的 向 量 为 : 
距离 为 2 的 向 量 ; 0011，1001，1010，1100，0110，0101 
距离 为 1 的 向 量 : 0001，0010，0100，1000 
距离 为 0 的 向 量 ， 0000 
因此 ， 总 共有 11 个 这 样 的 向 量 。 








定理 3.9 一 个 有 MM 个 码 字 ， 最 小 距离 为 (21 十 1) 的 g 元 (n,k) 码 满 足 


ue) (oon 的 6- 时 = G-22) 


证 明 : 设 C 是 一 个 g 元 (n,k) 码 。 考 上 处 以 M 个 码 字 为 中 心 、 以 1 为 半径 的 球 。 每 个 半径 为 1 


的 球 有 
[全国 ge- 


个 向 量 (定理 3.8)。 因 为 这 样 的 球 部 不 相交 ， 这 MM 个 不 相交 的 球 中 包含 的 总 向 量 个 数 为 oz， 
四 6 六 国 6- 六 下 ]G@- 史 ， 斌 &GFtg 下 长 罗 的 总 向 量 娄 为 卓 。 这 个 办 和 为 
汉 明 界 (Hamming Bound) 或 填 球 界 (Sphere Packing Bound) ， 而 且 它 对 非 线 性 码 也 适用 。 
对 于 二 元 码 ， 汉 明 界 变 为 
n n n n on 
可 四 国人 人 
这 里 需要 注 部 的 是 ， 满 足 汉 明 界 的 再 数 站 、MH 和 # 的 看 在 性 不 一 定 保 证 有 这 样 的 二 元 码 。 例 


如 集合 n 二 5、M = 二 5 和 t= 二 1 满足 汉 明 界 ， 但 不 存在 这 样 的 二 元 码 。 
观察 到 朋 = gt 的 情况 ， 汉 明 界 也 可 以 写 为 
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ogs{(o] + 0 (g— D+ 四 (9 一 1 十 二 [je- | <n—k (3-24) 
oem) 0 


对 一 个 完备 码 ， 以 码 字 为 中 心 的 等 半径 不 相交 的 球 完全 填 满 空间 。 因 此 一 个 纠 f 个 错误 的 
完备 码 最 有 效 地 利用 了 整个 空间 。 





例 3.25 考 虚 分 组 长 度 为 n 的 二 元 重复 码 


他 2 
C= 
11…1 


其 中 为 奇数 。 在 这 种 情况 下 ，MM=2 且 1=(n 一 1)/2。 将 这 些 值 代入 汉 明 界 不 等 式 左 边 ， 可 以 


得 到 
左 式 = {0:0 | = 2.2" -1=2" = 右 式 


因此 ， 重 复 码 是 个 完备 码 。 它 实际 称 为 平凡 (trivial) 完备 码 。 在 下 一 章 中 我 们 将 看 到 一 些 有 
意义 的 完备 码 。 





寻找 完备 码 的 方法 之 一 就 是 得 到 一 组 汉 明 界 方程 中 参数 4、g、M 和 1 的 整数 解 。 由 计算 机 
穷 举 搜索 得 到 的 一 些 结果 如 下 : 





序 号 n q M 
1 23 2 2° 3 
2 90 2 278 2 
3 11 3 3° 2 
3.10 汉 朋 码 
有 二 元 和 非 二 元 汉 明 码 。 这 里 我 们 将 把 讨论 限定 在 二 元 码 上 。 二 元 汉 明 码 具 有 性 质 
(1 A=(2"-1, 2"-1-m) (3-26) 


其 中 mm 是 任意 正 整 数 。 例 如 当 m=3 时 ， 我们 有 “〈7, 4) 汉 明 码 。 汉 明码 的 奇偶 校 验 矩阵 吾 是 个 
很 有 趣 的 矩阵 。 回 顾 可 以 知道 (n,k) 码 的 奇偶 校 验 和 矩阵 有 n 一 k 个 行 和 n 个 列 。 对 二 元 (n, 上 ) 
汉 明 码 ，n =2” 一 1 个 列 由 长 为 + 一 k= m 的 除 全 零 向 量 之 外 的 所 有 可 能 的 二 元 向 量 构 成 。 


例 3.26 二 元 (7,4) 汉 明码 的 生成 矩阵 为 





1 10 1000 

0110100 
G = 

001 1010 

000 1 101 
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相应 的 奇偶 校 验 矩阵 为 





观察 到 该 奇偶 校 验 和 矩阵 的 列 由 (100)、(010)、(101)、(110)、(111)、(011) 和 (001) 
构成 ， 这 7 个 是 所 有 长 为 3 的 非 零 二 元 向 量 。 很 容易 可 以 得 到 一 个 系统 汉 明 码 。 读 奇偶 校 验 矩 
阵 太 可 以 被 安排 成 如 下 的 系统 型 : 





1110 100 
loo om 

110 1001 

于 是 该 二 元 汉 明 码 的 生成 矩阵 的 系统 型 为 

1000101 
0100111 
G=[HP oo010o0110 
0001011 


从 上 例 中 我 们 观察 至 的 任何 两 列 都 线性 独立 《否则 它们 会 完全 相同 )。 但 当 m> 1 时 ， 有 
可 能 找到 五 的 三 个 列 使 它们 的 和 为 零 。 因 此 一 个 (n, k) 汉 明 码 的 最 小 距离 4' 等 于 3， 这 表明 它 
是 一 个 单一 错误 纠 错 码 。 汉 明码 是 完备 码 。 

通过 在 添加 一 个 整体 奇偶 校 验 比 特 ， 一 个 (n,k) 汉 明 码 可 以 修改 为 4 = 4 的 (n++1,) 
码 。 男 一 方面 ， 通 过 删 掉 生成 矩阵 G 中 的 / 行 ， 或 等 价 地 删 掉 它 的 奇偶 校 验 和 矩阵 态 中 的 ! 列 ， 一 
个 (n,k&) 汉 明 码 可 以 被 缩短 为 (n 一 i,k) 码 。 我 们 现在 可 以 给 出 汉 明 码 的 更 正规 的 定义 。 


定义 3.24 设 n 二 (gq 一 1)/(g 一 1)。GF(q) 上 的 (n,k) 汉 明 码 是 这 样 一 个 码 ， 它 的 奇偶 校 验 
算 阵 的 列 两 两 线性 独立 (在 GF(g) 上 )， 即 那些 列 是 两 两 线性 独立 向 量 的 最 大 集合 。 


3.11 低 密度 奇偶 校 验 (LDPC) 码 


定义 3.25 ”一 个 Gallager 码 (r, s) 是 一 个 线性 码 ， 其 校 验 延 阵 召 满足 如 下 条 件 : 每 一 列 有 r 
个 1， 每 一 行 有 s 个 1。 

定义 3.26 当 一 个 Gallager 码 的 r 和 s 很 小 时 ， 它 是 低 密度 订 侦 校 验 (LDPC) 友 。 因 此 , 一 
个 LDPC 码 有 一 个 稀疏 的 奇偶 校 验 矩 阵 ， 它 的 每 行 和 每 列 只 有 很 少 的 1。 一 般 情 况 下 ，r 科 lo827， 
其 中 n 是 分 组 长 度 。 这 个 码 可 以 写成 (n,7, 5s)LDPC 码 。 


例 3.27 考虑 下 面 的 奇偶 校 验 矩阵 : 





i100011i1000 
0100100110 
H=I0 0 10010101 (3-27) 
0001001011 
1111000000 


此 矩阵 每 一 列 有 (r = 2) 个 1， 每 一 行 有 (s = 4) 个 1。 在 这 个 5 x 10 的 矩阵 中 ， 不 可 能 再 有 更 
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多 的 线性 无 关 的 列 ， 因 为 在 5 个 位 置 中 任意 选择 两 个 位 置 设置 1 的 所 有 可 能 (也 就 是 (2) 均 


已 经 穷尽 。 由 于 奇偶 校 验 矩阵 的 维 数 是 (n 一 k) x n， 我 们 有 n=10, k=5。 我 们 还 注意 到 和 矩阵 的 景 
后 三 列 加 起 来 是 零 向 量 。 所 以 此 码 最 小 的 距离 是 3。 因 此 ， 这 是 一 个 (10, 2, 4) LDPC 码 。 





定义 3.27 一 个 有 着 固定 的 r 和 s 的 LDPC 码 称 为 正则 的 LDPC 码 。 如 果 列 中 1 的 个 数 和 行 中 
1 的 个 数 分 别 近 似 r 和 s， 则 称 为 非 正 则 的 LDPC 码 。 

LDPC 码 可 以 通过 随机 构造 、 代 数 构造 ， 或 者 两 种 构造 的 组 合 进行 构造 。 以 下 是 LDPC 码 
的 一 种 简单 随机 构造 的 算法 : 

第 1 步 : 设置 上 =1。 

第 2 步 : 生成 一 个 长 度 为 xr/s: 和 汉 明 重量 为 ?的 随机 二 元 向 量 。 把 它 作为 BH 的 第 i 列 。 

第 3 步 ， 如 果 此 时 五 每 行 的 重量 均 小 于 等 于 ， 并 且 任 意 两 列 的 标量 积 均 小 于 等 于 1， 则 设 
置 i= i+1。 否 则 ， 转 到 第 2 步 。 

第 4 步 ， 如 果 i = 4， 算 法 停止 。 否 则 ， 转 到 第 2 步 。 

随机 算法 并 不 能 保证 矩阵 的 每 行 都 有 * 个 1。 因 此 ， 我 们 通过 这 种 方法 可 能 生成 一 个 非 正 
则 的 LDPC 码 。 为 了 使 得 LDPC 码 是 正则 的 ， 需 要 在 算法 中 加 入 一 些 必要 的 限制 。 

下 面 介 绍 一 种 LDPC 码 的 代数 构造 算法 : 


第 ! 步 : 选择 p> 5， 


第 2 步 : 通过 对 单位 矩阵 到 的 每 一 行进 行 循环 向 右 移 1 位 ， 构 造 出 一 个 p xz 的 矩阵 
0 100.… 0 
0010.… 0 
J=0001.… 0 (3-28) 
0000.… 1 
1000.… 0 
第 3 步 : 奇偶 校 验 矩阵 可 以 得 到 : 
7 1 … 克 
n° 1 a 本 太一 
H=IP OB OB J (3-29) 


7° PAE 2) . J 


其 中 心 = I,， 并 且 J 的 1 次 方 是 通过 对 和 矩阵 1, 的 每 一 行 循环 向 右 移 (1 mod p) 位 。 此 矩阵 每 列 有 7 个 
1， 每 行 有 s 个 1。 因 此 这 是 一 个 正则 的 LDPC 码 。 

对 于 一 个 正则 码 ， 每 一 个 收 到 的 码 字 都 由 r 个 方程 进行 校 验 ， 每 一 个 校 验 方程 合计 s 个 码 符 
号 。 所 有 的 线性 码 ， 包 含 LDPC 码 ， 都 可 以 用 Tanner 图 表示 。 

定义 3.28 Tanner 图 是 基于 校 验 方程 集合 的 线性 码 的 图 表示 。 它 是 一 个 二 分 图 ， 因 此 它 有 
两 种 节点 : 符号 节点 和 校 验 节点 。 每 一 个 符号 节点 只 和 校 验 节点 连接 ， 同样 校 验 节 点 只 和 符 
号 节点 连接 。 

Tanner 图 中 ， 码 字 的 每 一 个 部 分 都 可 以 通过 一 个 符号 节点 表示 。 因 此 ， 图 中 有 7 个 符号 节 
点 。 图 中 每 一 个 码 的 校 验 方程 都 可 以 通过 一 个 校 验 节点 表示 。 因 此 ， 途 中 有 nk 个 校 验 节 点 。 
每 一 个 校 验 节 点 通过 一 条 边 和 它 所 校 验 的 符号 节点 相连 。 
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一 个 LDPC 码 能 够 通过 简单 的 迭代 flipping 算 法 进行 解码 。 下 面 是 这 种 次 优 算法 的 描述 

1) 对 从 信道 上 收 到 的 符号 进行 硬 判 决 译 码 后 形成 一 个 二 元 向 量 v。 如 果 我 们 在 最 开始 已 经 
收 到 了 字 ， 则 此 步骤 可 以 省 略 。v 是 n 一 比特 长 的 向 量 。 

2) 计算 伴随 式 s =vH"。 注 意 v 每 一 部 分 只 影响 伴随 式 的 s 个 部 分 。 如 果 只 有 1 比特 出 错 ， 则 
伴随 式 的 s 个 部 分 将 等 于 1。 

3) 计算 所 有 的 校 验 和 ， 以 及 对 向 量 "每 一 个 比特 计算 不 满足 奇偶 校 验 的 数目 。 

4) 对 向 量 y 中 具有 不 满足 奇偶 校 验 的 最 大 数目 的 所 有 比特 位 进行 比特 翻转 。 

5) 返回 第 3 步 ， 和 迭代 执行 直到 以 下 情况 出 现 ， 

(1) 所 有 校 验 均 满足 ， 或 者 

(2) 到 达 一 个 预定 义 的 最 大 夺 代 数 。 

Flipping 算法 不 能 保证 改正 接近 最 小 距离 一 半 的 错误 。 但 是 对 于 一 个 最 长 的 分 组 长 度 ， 此 
次 优 算法 能 够 很 好 地 解决 问题 。 





例 3.28 通过 下 面 的 奇偶 校 验 和 矩阵 ， 我 们 考虑 线性 率 1/3 码 。 
1 100 0 
1 1 0 (3-30) 
1 0 1 
0 1 1 
此 处 ，n = 6, r = 3, s = 2。 这 不 是 一 个 LDPC 码 ， 因 为 n 不 是 足够 大 以 致 巷 阵 互 是 稀 朴 的 。 


1 
1 0 0 
&-lo 1 0 
0 0 1 


此 码 对 应 的 Tanner 图 如 图 3-6 所 示 。 so@ 
假设 收 到 的 字 是 v=[001000]。 通 过 计算 伴随 式 ， 下 ©。 
我 们 得 到 s =vH?=[1 0 0 1]。 因 为 非 零 ， 所 以 这 不 是 "@ 
一 个 有 效 的 码 字 。 从 伴随 向 量 ， 我 们 注意 到 失败 的 “8@ @s 
奇偶 校 验 是 1 和 4。 这 就 意味 着 在 Tanner 图 中 连接 校 验 
节点 1 和 4 的 符号 当中 有 一 个 是 错误 的 。 我 们 进行 下 s@ 0c 
面 的 观察 ， @ 
(1) 接收 到 的 向 量 中 的 比特 4 对 应 一 个 成 功 的 校 “@ 
验 ， 因 为 它 连接 校 验 节 点 2 和 3， 这 两 个 节点 在 伴随 8 
向 量 中 都 是 0。 


(2) 接收 到 的 向 量 中 的 比特 1 对 应 一 个 成 功 的 校 ”图 3-6 例 3-28 中 1/3 线 性 码 对 应 的 Tanner 图 
验 ， 因 为 它 连 接 校 验 节点 1。 

(3) 接收 到 的 向 量 中 的 比特 5 和 比特 6 对 应 一 个 失败 的 校 验 ， 因 为 它 连 接 校 验 节 点 4。 

(4) 接收 到 的 向 量 中 的 比特 3 对 应 两 个 失败 的 校 验 ， 因 为 它 连 接 校 验 节 点 1 和 4， 这 两 个 节 
点 在 伴随 向 量 中 都 是 1。 

通过 flipping 算 法 ， 我 们 把 接收 到 的 向 量 中 的 第 3 比特 进行 翻转 ， 从 而 得 到 [0 0 0 0 0 0]。 我 
们 再 次 进行 奇偶 校 验 ， 发 现 此 时 它 已 经 满足 所 有 的 校 验 。 因 此 ， 这 个 例子 中 正确 的 向 量 是 全 零 。 





3.12 最 优 线性 码 


定义 3.29 ”对 一 个 (n,k, d') 最 优 码 ， 不 存在 (n 一 1,k,4d)、(n+1,k+1,d) 或 (n 二 1， 
k,d 十 1) 码 。 
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最 优 线性 码 给 出 了 分 组 长 度 限 制 下 的 最 好 距离 属性 。 多 数 最 优 码 都 是 通过 计算 机 长 时 间 
搜索 找到 的 。 对 给 定 的 一 组 参数 4、k 和 d， 可 能 存在 不 止 一 个 最 优 码 。 例 如 存在 两 个 不 同 的 
(25，5，10) 二 元 最 优 码 。 





例 3.29 考虑 二 元 (24，12，8) 码 。 可 以 验证 : 

(1) 不 存在 (23，12，8) 码 (只 存在 (23，12，7) 码 )。 
(2) 不 存在 (25，13，8) 码 。 

(3) 不 存在 (25，12，9) 码 。 
所 有 二 元 (24，12，8) 码 是 最 优 码 。 





3.13 最 大 距离 可 分 (MDS) 码 

在 这 一 节 中 我 们 考虑 对 给 定 的 元 余 度 r， 找 到 最 大 可 能 的 最 小 距离 d'。 

定理 3.10 一 个 (n,n 一 fr, d') 码 满足 dd 所 fr 二 1。 

证 明 : 由 Singleton 有 界 我 们 得 到 d’ 三 n 一 kK 二 1。 将 Kk 二 n 一 r 代 入 即 得 d 和 1 十 1。 

定义 3.30 一 个 (n,n 一 r, r+1) 码 称 为 最 大 距离 可 分 (Maximum Distance Separable， 
MDS) 码 。 一 个 MDS 码 是 宛 余 度 为 "r， 最 小 距离 等 于 /十 1 的 线性 码 。 


3.14 最 小 距离 的 界 


一 个 (n, 月 二 元 或 非 二 元 线性 分 组 码 最 小 距离 的 上 界 可 以 简单 表示 为 式 (3-7) 中 的 Singleton 
边界 ， 即 d" <n 一 kt1。 此 边界 的 正则 形式 可 以 写 为 : 


: 1 
Q dnri (3-31) 
n n 


其 中 7 是 码 率 。 当 分 组 长 度 很 大 时 ， 因 子 1/n 可 以 被 忽略 。 另 外 一 个 上 界 可 以 直接 通过 式 (3-25) 

中 的 汉 明 边界 得 到 。 通 过 不 等 式 两 思 同 时 除 以 Xx， 并 且 对 二 元 情 视 设置 4 = 2， 我 们 可 以 得 到 ， 
hoga((") <1—r (3-32) 
n i 


i=0 
由 于 最 小 距离 4 以 及 纠 错 能 力 t 是 相关 的 ， 上 面 的 关系 是 4 和 的 上 界 。 对 任意 的 x， 记 如 表 示 
使 得 式 (3-32) 成 立 的 的 最 大 值 。 则 容易 得 到 当 n 一 % 时 ，t /n 不 会 超过 tw/n， 其 中 to/n 满 足 方程 ; 


I-r= A (3-33) 
泛 化 的 汉 明 界 可 以 写成 
1 i ; 
7 1084 的 co- 1l—r (3-34) 
i=0 
Plotkin 给 出 了 d 另外 一 个 界 
ifgd” -i 。 
2 log,d ] <1—r (3-35) 


Elias 给 出 了 dd 的 一 个 更 紧 的 界 ， 此 界 是 一 个 渐 近 的 形式 ，: 
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二 <24(1-4) (3-36) 
n 
其 中 r = 1+4 log:4 +(1-4) log, (1-4) ,0<A<1/2。 (3-37) 
好 同样 存在 着 一 个 下 界 。 基 于 Gilbert 和 Varshamov 的 定理 ，d 的 下 界 是 
和 二 >a (3-38) 
n 
其 中 r= 1+c logyQ + (1 一 on log; (1 一 on = 1-H(Q), 0<a<1/2, (3-39) 


3.15 空 时 分 组 码 


空 时 分 组 码 是 为 多 天 线 发 射 而 设计 的 编码 技巧 。 此 编码 是 在 空间 域 和 瞬时 域 增加 设计 合 
适 的 元 余 。 空 时 分 组 码 是 由 Tarokh、Seshadri 和 Calderbank 首 先 可 出 来 。 在 空 时 编码 系统 中 ， 
系统 的 符号 错误 率 (SER) 大 约 为 


广 C 


‘GD (3-40) 


其 中 S 是 信 噪 比 SNR，c 是 一 个 采用 调制 和 信道 特质 的 度量 常数 。G, (G。 > 了 1D) 表示 编码 增益 ，G， 
表示 系统 的 分 集 数 。 分 集 增益 /分 集 数 决定 了 SNR 函 数 的 误 码 率 曲 线 的 斜率 ， 而 编码 增益 决定 
了 把 非 编 码 系统 的 误 码 率 曲 线 水 平平 移 到 对 应 相同 分 集 数 的 空 时 编码 误 码 率 曲 线 。 有 两 种 主 
要 的 空 时 编码 机 制 ， 空 时 网 格 码 〈《STTC) 和 空 时 分 组 码 (STBC)。STTC 的 设计 是 为 提供 最 
大 的 编码 增益 和 分 集 增益 ， 而 STBC 的 设计 只 为 提供 完全 的 分 集 增 益 和 零 或 最 小 的 编码 增益 。 
我 们 将 学 习 STBC， 并 在 第 7 章 学 习 STTC。 

1998 年 提出 的 Alamouti 方 案 是 史上 第 一 个 空 时 分 组 码 ， 它 给 两 发 射 天 线 的 系统 提供 完全 
的 发 射 分 集 。 随 后 ，Tarokh 把 Alamouti 的 发 射 分 集 方案 泛 化 到 任意 数目 的 发 射 天 线 环 境 中 ， 
并 且 基 于 正 交 和 矩阵 提出 了 更 加 复杂 的 STBC。STBC 通 过 在 接收 端的 线性 处 理 方式 能 够 达到 最 
大 似 然 (ML) 解码。 图 3-7 给 出 了 Alamouti 空 时 编码 器 的 框图 。 





符号 周期 Tx2 


图 3-7 Alamouti 的 两 天 线 发 射 分 集 机 制 
在 每 次 编码 操作 中 ， 输 入 编码 器 两 个 符号 xm 和 zx， 然后 根据 下 面 的 正 交 编码 矩阵 进行 发 射 。 


zx 这 (3-41) 


X2 Xl 


其 中 x 是 x 的 复 共 轿 。 在 符号 周期 1 中 ， 天 线 1 和 天 线 2 分 别 发 射 x 和 x;。 
在 符号 周期 2 中 ， 天 线 1 和 天 线 2 分 别 发 射 -x; 和 x; 。 注 意 : 
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XX = (Ixl?+ 1x, 17)L, 


其 中 /是 一 个 2 x 2 的 矩阵 。 假 设 衰弱 信道 系数 和 心 在 连续 的 两 个 符号 周期 中 均 是 常数 。 


在 连续 的 两 个 符号 周期 中 收 到 的 信号 ，r, 和 7, 可 以 表示 为 : 
T=hx + hx +n, 
r, =— hx + hxi+n, 
其 中 n, 和 ns 分 别 是 两 个 符号 周期 的 AWGN 取 样 。 
组 合 器 把 收 到 的 信号 进行 如 下 组 合 : 
El = hr + hr 
To = hr hr; 
对 等 能 量 M 元 (例如 M-PSK) 信号 群 ，ML 决 策 规则 可 以 简化 为 
xX =arg Rn d?(T1,t) 
X2 =arg min d(T ,2,) 


其 中 ,Q(x,y) = lz 一 中。 


(3-42) 


(3-43) 
(3-44) 


(3-45) 
(3-46) 


(3-47) 


(3-48) 


基于 信号 群 的 种 类 ，STBC 可 以 分 成 实 信号 的 STBC 和 复 信 号 的 STBC 。 一 般 说 来 ， 一 个 
空 时 分 组 码 是 通过 一 个 NN, xp 的 发 射 矩 阵 来 定义 的 。 这 里 W 是 发 射 天 线 数量 ，P 是 发 射 一 组 编码 


符号 的 时 间 周 期 。 如 果 变 量 为 zz, …, 的 一 个 N, x p 实 发 射 甜 阵 Xn 满足 


T 2 2 2 
XN, XN, =c(lxil 十 1X21 十 … 十 1 )TN， 


(3-49) 


则 空 时 分 组 码 可 以 提供 码 率 为 bp 的 完全 发 射 分 集 wW。 这 种 STBC 被 称 为 实 正 交 设 计 。 对 于 任意 
的 实 信号 群 有 N, x N 的 发 射 方 阵 Xw 的 STBC 存 在 ， 当 且 仅 当 N =2, 4, 8。 这 些 码 是 全 码 率 (R = 1) 


并 且 提 供 全 发 射 分 集 。 例 如 : 
当 N,=2 个 发 射 天 线 时 


当 N,=4 个 发 射 天 线 时 


X, 三 
X3 一 多 4 X1 X2 


X4 XY3 -X22 A 


一 般 情 况 下 ， 对 N 个 发 射 天 线 ， 如 果 要 达到 全 码 率 ， 发 射 周期 的 最 小 值 是 : 


N:=2,p=2 N,=6,p=8 
Ni:=3,p=4 N,=7,p=8 
N:=4,p=4 N:=8,p=8 
N:=5,p=8 


(3-50) 


(3-51) 


(3-52) 


和 Alamouti 方 案 类 似 ， 由 于 发 射 矩 阵 的 正 交 性 ，ML 解 码 是 通过 接收 端的 线性 处 理 在 正 交 


的 STBC 中 完成 的 。 
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3.16 评注 


1948 年 ，Claude Elwood Shannon 在 Bell System Technical Journal 上 发 表 的 经 典 论文 导致 了 
两 个 重要 领域 的 产生 : 信息 论 和 编码 理论 。 当 时 Shannon 才 32 岁 。Shannon 的 信道 编码 定理 说 ， 
“如 果 信 息 率 小 于 信道 容量 ,通过 有 限 带 宽 有 骂 信 道 传输 的 数据 的 错误 率 可 以 减 小 到 任意 小 的 
程度 ”。Shannon 预 测 了 存在 好 的 信道 码 但 没有 构造 它们 。 从 那 以 后 人 们 就 开始 了 寻找 好 码 的 
工作 。Shannon 的 精辟 论文 可 以 从 下 面 的 网 址 得 到 : 加 

http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html 

在 1950 年 ，R. W. Hamming 引 入 了 第 一 个 单一 错误 纠 错 码 ， 至 今 还 在 使 用 。Golay (他 的 码 
将 在 下 一 章 学 习 ) 对 线性 码 方面 的 工作 进行 了 扩展 。Golay 还 提出 了 完备 码 的 概念 。Golay 和 
Cocke 在 20 世 纪 50 年 代 后 期 开发 了 非 二 元 汉 明 码 。 后 来 许多 计算 机 用 来 搜索 有 趣 的 码 。 但 是 有 
些 最 著名 的 码 是 由 真正 天 才 发 现 的 ， 而 不 是 计算 机 穷 搜 索 。 

根据 Shannon 的 定理 ， 若 C(p) 表示 比特 错误 概率 等 于 p 的 BSC 的 容量 ， 则 对 任意 低 的 符号 
错误 概率 ， 我 们 一 定 要 有 码 率 R< C(p)。 即 使 信道 容量 提供 可 以 达到 的 码 率 的 上 界 (R= jk/n)， 
抛 开 信道 容量 来 评估 一 个 码 可 能 是 误导 。 码 的 分 组 长 度 ， 直 接 转换 为 延迟 ， 也 是 一 个 重要 的 
参数 。 即 使 一 个 码 的 性 能 很 不 理想 , 但 它 可 能 对 于 给 定 的 码 率 和 长 度 而 言 是 最 好 的 码 。 我 们 
已 经 看 到 通过 增加 码 的 分 组 长 度 ， 码 率 的 界 比 小 的 分 组 长 度 的 码 更 接近 信道 容量 。 但 是 分 组 
长 度 越 长 意味 着 译 码 时 的 延迟 越 大 ， 这 是 因为 对 一 个 码 字 的 译 码 只 能 在 收 到 整个 码 字 后 才能 
开始 。 最 大 允许 的 延迟 受 实际 约 东 的 限制 。 例 如 在 移动 无 线 电 通信 中 ， 数 据 包 限制 在 200 比 特 
之 内 。 在 这 种 情况 下 ， 具 有 很 大 分 组 长 度 的 码 字 不 能 被 采用 。 

低 密 度 奇偶 校 验 (LDPC) 码 是 Gallager 于 1963 年 在 他 的 博士 论文 中 提出 的 。 在 30 年 后 的 
20 世 纪 90 年 代 又 被 重新 研究 并 成 为 无 线 通信 标准 的 一 部 分 。 在 无 线 通信 中 ， 使 用 多 个 天 线 变 
得 非常 普及 。 发 射 分 集 技术 正在 融 人 3G 无 线 通 信 标 准 。 空 -时 编码 由 Tarokh、Seshadri 和 
Calderbank 在 1998 年 提出 。1998 年 提出 的 Alamouti 机 制 成 为 首 个 空 -时 分 组 码 。 它 通过 使 用 两 
个 天 线 为 系统 提供 了 完全 发 射 分 集 。 


3.17 小 结 


。 字 是 符号 的 序列 。 码 是 一 些 称 为 码 字 的 向 量 的 集合 。 

。 码 字 (或 任何 向 量 ) 的 汉 明 重量 等 于 该 码 字 中 非 零 元 素 的 个 数 。 一 个 码 字 e 的 汉 明 重量 
记 为 w(c)。 

。 一 个 分 组 码 由 一 组 固定 长 度 的 码 字 组 成 。 这 些 码 字 的 固定 长 度 称 为 分 组 长 度 ， 而 且 习 惯 上 
记 为 4。 一 个 分 组 编码 方案 把 x 个 信息 符号 转换 成 4 个 编码 符号 。 这 样 的 一 个 码 记 为 (n,)。 

。 一 个 (n,k) 码 的 码 率 定义 为 比率 (Kn)， 它 反映 的 是 码 字 所 含 信息 符号 的 分 数 。 

。 一 个 码 的 最 小 距离 是 任意 两 个 码 字 间 的 最 小 汉 明 距离 。 一 个 最 小 距离 为 4 的 (n,k) 码 
有 了 时 记 为 (n, k, d ) 码 。 一 个 码 的 最 小 重量 是 所 有 非 零 码 字 的 最 小 重量 ， 记 为 w*。 对 一 
个 线性 码 ， 它 的 最 小 距离 等 于 其 最 小 重量 ， 即 必 =w 。 

。 一 个 线性 码 具 有 下 述 性 质 : 

(1) 属于 一 个 码 的 两 个 码 字 的 和 也 是 属于 该 码 的 码 字 。 

(2) 全 零 码 字 总 是 个 码 字 。 

(3) 一 个 线性 码 两 个 码 字 之 间 的 最 小 汉 明 距离 等 于 任意 非 零 码 字 的 最 小 汉 明 重量 , 即 d=w'。 

。 生 成 矩阵 将 一 个 长 为 上 的 向 量 转变 〈 编 码 ) 成 长 为 4 的 向 量 。 设 输入 向 量 (未 编码 的 符号 ) 
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表示 为 1， 则 编码 符号 为 c = iG。 

。 两 个 g 元 码 称 为 等 价 的 ， 如 果 其 中 一 个 可 由 另 一 个 经 下 列 变 换 中 的 一 个 或 两 个 得 到 : 

(1) 对 固定 位 置 上 的 符号 进行 置换 。 

(2) 对 码 的 位 置 进行 置换 。 

“一 个 (n,k) 系统 码 其 中 分 组 长 度 为 的 码 字 的 前 k 个 符号 为 信息 符号 本 身 。 型 为 G=[1 | PI 的 
生成 入 阵 称 为 生成 矩阵 的 系统 型 或 标准 型 ， 其 中 1 为 xk 单位 和 矩阵， 而 P 为 kx (一 月 矩阵 ， 

* 一 个 给 定 码 的 奇偶 校 验 矩 阵 且 满足 cH7=0， 其 中 c 是 一 个 合法 码 字 。 因 为 c=iG， 所 以 
iGH”7=0。 对 一 个 给 定 的 码 ， 它 的 奇偶 校 验 和 矩阵 不 是 惟一 的 。 

。 一 个 最 大 距离 可 分 码 满足 d =n 一 k++1。 

。 要 使 一 个 码 能 纠 ! 个 错 ， 必 须 满足 必 >2r+1， 其 中 必 是 码 的 最 小 距离 。 

。 设 C 是 GF(g) 上 的 (大 ) 码 ，4 是 长 为 m 的 任意 向 量 。 则 集合 e+ C= {at+xlxeC} 称 为 C 的 
一 个 陪 集 。a 和 4b 属于 同一 个 陪 集 ， 当 且 仅 当 (e--D 人 EC。 

。 假 设 H 是 一 个 (n,k) 码 的 奇偶 校 验算 了 泗 。 则 对 任意 向 量 vEGF(q)， 向 量 s = vyH? 称 为 v 的 伴随 
式 。 它 之 所 以 称 为 伴随 式 (综合 症 ) 是 因为 它 给 出 错误 的 症状 ， 从 而 帮助 我 们 诊断 错误 。 

。 一 个 完备 码 达到 汉 明 界 ， 即 


xc- (je (je 中- 


。 二 元 汉 明 码 具 有 性 质 (n, 及 = (2" 一 1 2 一 1 一 m)， 其 中 必 为 任意 正 整 数 。 汉 明码 是 完 
备 码 。 
。 一 个 Gallager 码 (r, s) 是 一 个 线性 码 ， 其 校 验 矩阵 互 满 足 条 件 ， 每 一 列 有 r 个 1， 每 一 行 有 s 
个 1。 一 个 Gallager 码 的 r 和 s 很 小 时 ， 它 是 低 密度 奇偶 校 验 (LDPC) 码 。 
。 Tanner 图 是 基于 校 验方 程 集合 的 线性 码 的 图 表示 。 它 是 一 个 二 分 图 ， 因 此 它 有 两 种 节点 ; 符 
号 节点 和 校 验 节点 。 每 一 个 符号 节点 只 和 校 验 节 点 连接 ， 同 样 校 验 节点 只 和 符号 节点 连接 。 
* 对 一 个 (n,k, 4d) 最 优 码 ， 不 存在 (n 一 1,k,d)、(n+1,k+1,d) 和 (n+1,k,d 十 1) 码 。 
。 一 个 (n,n 一 r, r+1) 码 称 为 最 大 距离 可 分 (MDS) 码 。 一 个 MDS 码 是 一 个 元 余 度 为 r， 
最 小 距离 等 于 r + 1 的 线性 码 ，。 

。 空 时 分 组 码 是 为 了 多 天 线 发 射 而 设计 的 编码 技巧 。 此 编码 是 在 空间 域 和 瞬时 域 增加 设计 
合适 的 元 余 。 

。Alamouti 方 案 的 正 交 编码 矩阵 表示 为 


数学 中 最 大 的 未 解决 的 定理 是 为 什么 有 些 人 比 别 人 强 。 
一 一 Mathesis, Adrian 
习题 
3.1 证 明 C={0000，1100，0011，1111} 是 一 个 线性 码 。 它 的 最 小 距离 是 什么 ? 


3.2 如 果 可 能 的 话 ， 构 造 下 列 参数 的 二 元 (n,k,d) 码 ， 
(1) (6, 1, 6) 


3.3 


3.4 


3.5 


3.6 
3.7 


3.8 


3.9 
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(2) (3, 3, 1) 
(3) (4, 3, 2) 
考虑 GF(2) 上 的 下 列 生 成 矩阵 


(1) 用 此 和 矩阵 生成 所 有 可 能 的 码 字 。 

(2) 求 奇偶 校 验 矩阵 瓦 。 

(3) 求 与 其 等 价 的 一 个 系统 码 的 生成 矩阵 。 

(4) 构造 该 码 的 标准 阵列 。 

(5) 这 个 码 的 最 小 距离 是 多 少 ? 

(6) 这 个 码 能 检测 多 少 错误 ? 

(7) 写 出 该 码 能 检测 的 所 有 错误 模式 。 

(8) 这 个 码 能 纠 多 少 个 错 ? 

(9) 如 果 我 们 用 此 编码 方案 ， 那 么 符号 错误 概率 是 多 少 ? 将 它 与 未 编码 的 错误 概率 进行 比较 。 
(10) 这 是 一 个 线性 码 吗 ? 
构造 码 C = {00000，10101，01010，11111} 的 生成 矩阵 。 因 为 这 个 G 不 是 惟一 的 ， 给 出 另 
一 个 能 生成 这 个 码 字 集 合 的 生成 矩阵 。 

证 明 如 果 存 在 一 个 4d 为 偶数 的 二 元 (n,k, d') 码 ， 则 存在 一 个 二 元 (n,k, d) 码 ， 其 中 所 
有 码 字 都 有 偶数 重量 。 

证 明 如 果 C 是 一 个 二 元 线性 码 ， 则 对 C 加 一 个 整体 偶 校 验 比特 后 得 到 的 码 仍 是 线性 的 。 
标记 向 量 & = wiwz Ww … 和 v = Viv2oV3…V。 同 时 标记 (ulv) = wa …W viv V3…v, 作 为 长 度 
为 2n 的 向 量 。 接 下 来 ， 假 设 C1 是 一 个 二 元 (n, ki, dj) 码 ，Cs 是 一 个 二 元 (n, bo, dy) 码 ， 并 且 
码 字 wECl，vEC,，d, 和 d, 分 别 表示 两 个 码 的 最 小 距离 。 产 生 一 个 (xlwu + v) 新 的 码 C;。 

(1) 证 明 C3 是 一 个 (2n, K+ 后) 码 。 

(2) C3; 的 最 小 距离 是 多 少 ? 

对 下 列 每 一 个 集合 S， 列 出 扩张 码 <S>: 

(1) S$={0101, 1010, 1100} 

(2) $= {1000, 0100，0010，0001} 

(3) S={11000, 01111, 11110, 01010} 

考虑 (23，12，7) 二 元 码 。 证 明 若 将 它 用 在 一 个 比特 错误 概率 为 p =0.01 的 二 元 对 称 信道 
(BSC) 中 ， 字 错误 概率 约 为 0.00008。 


3.10 假设 C 是 一 个 二 元 码 ， 它 的 奇偶 校 验 矩阵 为 了 H。 证 明 由 C 通 过 添加 整体 奇偶 校 验 比 特 得 到 


的 扩展 码 C, 的 奇偶 校 验 和 矩阵 为 


Le 


DB 


H'= 


20 


3.11 


3.12 


3.13 
3.14 
3.15 
3.16 
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GF(4) 上 的 一 个 (5, 3) 码 的 生成 矩阵 为 


10011 
0 10 12 
00 1 13 





(1) 求 奇偶 校 验 矩 阵 。 

(2) 这 个 码 能 检测 多 少 个 错 ? 

(3) 这 个 码 能 纠 多 少 个 错 ? 

(4) 这 个 码 能 纠 多 少 个 删除 ? 

(5) 这 是 个 完备 码 吗 ? ， 
考虑 一 个 GF(11) 上 的 长 度 是 x = 10 的 线性 分 组 码 ， 并 满足 下 面 的 两 个 限制 条 件 ， > ic 


9 
=0 (mod 11) 和 之 (10 一 je; = 0 (mod 11)。 找 出 此 码 的 最 小 距离 。 
设 C 是 长 度 为 :、 最 小 距离 为 7 的 二 元 完备 码 。 证 明 n=7 或 n= 二 23。 
用 表示 二 元 汉 明 码 的 码 率 。 求 lim rp o 


证 明 不 存在 (15, 8, 5) 码 。 
检验 下 面 的 STBC 码 是 否 是 正 交 的 。 





上 机 习题 


3.17 
3.18 
3.19 


3.20 


3.21 


3.22 


写 一 个 程序 ， 当 知道 一 个 码 的 生成 矩阵 时 ， 该 程序 可 以 求 GF(2) 上 线性 分 组 码 的 最 小 距离 。 

将 上 述 程序 推广 到 GF(q) 上 的 任意 线性 分 组 码 的 情况 。 

写 一 个 程序 对 汉 明 界 等 式 中 的 参数 n, 9, M 和 1， 穷 举 搜索 所 有 的 完备 码 。 对 1 <n<200， 

2<gq<11 的 情况 进行 搜索 。 ， 

给 码 率 为 (2" 一 1)/(2”-1 一 m) 的 通用 二 元 汉 明 码 写 一 个 程序 ， 该 程序 在 得 到 输入 m 和 一 个 将 

被 编码 的 比特 流 时 输出 一 个 编码 后 的 比特 流 。 也 给 译 码 器 编 个 程序 完成 下 面 的 任务 : 

(1) 写 一 个 错误 生成 器 模块 ， 在 给 定 一 个 比特 流 作为 输入 时 ， 它 的 输出 流 的 每 个 比特 都 
以 概率 p 发 生 了 改变 ， 即 比特 错误 概率 为 p。 

(2) 对 m =3， 将 汉 明 码 编 码 后 的 比特 流 输入 到 上 述 模 块 ， 然 后 对 收 到 的 字 用 译 码 器 进行 
译 码 。 

(3) 画 出 剩余 错误 概率 ( 译 码 之 后 的 错误 概率 ) 关于 z 的 函数 。 注 意 如 果 你 在 BER=10“ 
范围 内 工作 ， 你 必须 以 10"*? 比 特 的 数量 级 传输 (考虑 为 什么 )。 

(4) 对 m= 二 5、8 及 15 的 情况 重复 上 述 模 拟 。 当 m 一 “时 会 怎么 样 ? 

等 一 个 程序 ， 使 用 下 列 方式 生成 一 个 (20, 3,4) 的 LDPC 码 ，; 

(1) 随机 收缩 方式 ， 

(2) 算术 收缩 方式 。 

写 一 个 程序 用 于 搜索 N, >2 时 的 正 交 STBC。 


第 4 章 循 环 码 
我 们 所 获取 的 真理 不 仅仅 来 自 于 理论 ， 还 要 人 靠 灵 感 。 


一 一 Blaise Pascal (1623—1662) 


4.1 循环 码 简介 


在 第 3 章 中 ， 当 处 理 线性 分 组 码 时 ， 在 分 组 码 的 结构 上 加 进去 了 一 些 线性 限制 条 件 。 这 些 
结构 上 的 性 质 可 以 帮 我 们 寻找 能 够 快速 、 简 易 地 编码 和 译 码 的 线性 分 组 码 。 在 本 章 中 ， 我 们 将 
研究 一 个 线性 分 组 码 的 子 类 ， 该 码 在 结构 上 有 另外 的 限制 条 件 。 这 种 限制 条 件 就 是 一 个 码 字 任 
意 循 环 移 位 的 结果 都 是 另 一 个 有 效 码 字 。 这 种 条 件 使 得 循环 码 可 用 移 位 寄存 器 非常 简单 地 实现 。 
高 效 的 电路 实现 是 任何 错误 控制 码 的 卖点 。 我 们 也 将 看 到 伽 罗 瓦 (Galois) 域 理论 可 以 有 效 地 
用 于 研究 、 分 析 和 发 现 新 的 循环 码 。 循 环 码 的 伽 罗 瓦 域 表 示 导 致 低 复 杂 度 编码 和 译 码 算法 。 

本 章 内 容 结构 如 下 : 在 前 三 节 中 ， 我 们 研究 多 项 式 。 我 们 将 回顾 一 些 概念 并 学 习 几 个 新 概 
念 。 然 后 利用 这 些 数 学 工具 构造 和 分 析 循 环 码 。 接 下 来 将 介绍 循环 码 的 矩阵 描述 ， 并 简要 介 
绍 准 循环 码 和 截 短 循 环 码 。 然 后 将 讨论 一 些 流行 的 循环 码 。 本 章 最 后 讨论 循环 码 的 电路 实现 。 


定义 4.1 我 们 称 码 C 是 循环 码 ， 如 果 

(DC 是 一 个 线性 码 ; 

(2) 一 个 码 字 的 任意 御 环 移 位 的 结果 还 是 一 个 码 字 ， 即 车 aoaj…a, ,为 C 中 的 一 个 码 字 ， 则 
an -100…Gn ?也 是 C 中 的 一 个 码 字 。 





例 4.1 ”二 元 码 C,={0000，0101，1010，1111} 是 个 循环 码 。 然 而 C, = {0000，0110，1001， 
1111} 却 不 是 一 个 循环 码 ， 但 与 前 面 的 码 等 价 。 将 C, 的 第 三 位 和 第 四 位 分 量 交 换 就 得 到 C。 





4.2 多 项 式 
定义 4.2 一 个 多 项 式 就 是 如 下 的 数学 表达 式 
及 一/ 十 AT 十 十 (4-1) 
其 中 符号 x 称 为 末 知 元 ， 系 数 太 ,六 ,万 是 GF(9g) 中 的 元 素 。 系 数 户 称 为 最 高 项 系数 。 若 矿产 0， 
则 m 称 为 该 多 项 式 的 次 数 ， 并 记 为 deg Az)。 
定义 4.3 若 一 个 多 项 式 的 最 高 项 系数 为 单位 元 ， 则 该 多 项 式 称 为 首 一 的 。 


例 4.2 NO =3+7Txz+ 和 二 5 六 二 是 GF(8) 上 的 一 个 首 一 多 项 式 。 该 多 项 式 的 次 数 为 6。 ” | 


多 项 式 在 研究 循环 码 (本 章 的 主题 ) 方面 起 到 重要 作用 。 令 FIx] 为 系数 在 GF(g) 上 的 关于 
x 的 所 有 多 项 式 的 集合 。F[x] 中 的 不 同 多 项 式 可 以 按 通常 方式 进行 加 法 、 减 法 和 乘法 运算 。 
FI[x] 就 是 一 种 叫做 环 的 代数 结构 的 一 个 例子 。 环 满足 定义 域 的 ( 见 3.2 节 ) 八 个 定理 中 的 前 七 
个 。F[x] 不 是 一 个 域 ， 因 为 次 数 大 于 零 的 多 项 式 不 存在 乘法 逆 元 。 容 易 证 明 ， 如 果 f(x)， 
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8(XEFLx]， 则 deg fx)g(x)) 二 deg ftx) 二 deg g(x)。 但 是 ，deg(f(x)+g(x)) 不 一 定 为 max{deg ftx)， 
deg g(xX)}。 例 如 ， 考 虑 二 元 域 GF(2) 上 的 两 个 多 项 式 f(x)= 1+x 和 g(x)=1+x+x*?， 则 有 
deg(f(x) 二 + g(x)) 二 deg(x) =1。 这 是 因为 在 GF(2) 上 ，1+1=0， 从 而 x?+ 邓 =(1+Dx=0。 





例 4.3 考虑 GF(3) 上 的 多 项 式 f(x)=2++x 十 庆 十 2x4 和 Ig(x)=1+2x 十 2x4 十 站 ， 则 
Hx} + Bx) = (2+1) + x + (1+2)22 + (212)7 + = 让 
flx). gx) = (2+x+ x + 2X)( 1 + 2 + 2x + xs) 
= 2+X+ (1+2.2)x? + 2X3 + (2+2+2.2)X4 + (2+2)x5 
+ (14+2+1)x + x7 + 2.2x8 + 279 
= 2+X+ (rx + 27 + (2+t2+1)xt + (242)x5 + (1+2+1)x6 + x? + 如 +2x° 
= 2+X+282+22+T24+X A++ 和 2 十 各 十 2X79 


注意 系数 的 加 法 和 乘法 都 是 在 CF(3) 上 进行 的 。 


例 4.4 考虑 GF(C2) 上 的 多 项 式 fx)=1+x， 有 
(Ax) =1+(1+ Ux 二 也 王 1 十 刀 
同样 考虑 GF(3) 上 的 多 项 式 fx)= 1+x， 有 
OP =1+(1+ 1x+O=1+2x+x 








4.3 多 项 式 的 除法 算法 

多 项 式 的 除法 算 革 是 指 对 F[x] 中 的 任意 一 对 多 项 式 a(x) 和 &(z) 关 0， 存 在 惟一 一 对 多 项 式 
q(x) 和 r(x)， 分 别称 为 商 和 余数 ， 满 足 a(x) = q(x)b(x)+r(x)， 其 中 deg r(x)<deg b(x)。 该 余数 
有 时 又 称 为 剩余 ， 并 记 为 RowwLa(7)] =r(xX)。 


剩余 的 两 个 重要 性 质 为 
(1) Rao[aCo + b(x)] = Rro[acoO]+TRroCoO] (4-2) 
(2) Rro[aC0 * b(X)] = Ro{ Rw[alx)] * RaoLb(7)]} (4-3) 


其 中 a(x)、 b(x) 和 fx) 都 为 GF(q) 上 的 多 项 式 。 





例 4.5” 设 ao = 关 +x+1 和 200= 关 +x+1 为 定义 在 GF(C2) 上 的 多 项 式 。 我们 可 进行 a(x) 对 
b(x) 的 竖 式 除 靶 如 下 


x+ 1 一 一 一 400 


bo) 一 -x+1 j++ X+14—— a(x) 


只 十 入 十 天 





因此 ，a(X)=(x++ D5b(x) 十 XxX。 可 以 写 为 a(x) =9CD)pCo)T+T ro ， 其 中 g009=x+1，r0)=x。 注 意 这 
里 有 deg r(x)<deg b(x)。 





定义 4.4 ” 令 f(x) 为 Ff[x] 中 的 一 个 固定 多 项 式 。FIx] 中 的 两 个 多 项 式 g(Xx) 和 jz) 关于 模 f(x) 
同 余 的 概念 可 描述 为 g(x) 三 h(x) (mod fxX))， 如 果 g(X) 一 h(x) 能 被 Rx) 整除 。 
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例 4.6 设 g(X)= 骆 十 世 十 1, h(x)== 庆 十 民 十 1 和 fx)==x 十 1 为 定义 在 GF(2) 上 的 多 项 式 。 因为 
8(X) 一 h(x) 二 Xx)， 故 我 们 可 写 为 8(x) 三 h(x) (mod fx))。 


下 面 我 们 记 F[x]/f(x) 为 F[x] 中 次 数 小 于 deg fx) 的 多 项 式 集合 ， 其 中 的 加 法 和 乘法 是 在 模 
ftx) 意义 下 进行 的 ， 如 下 所 述 : 

(1) 若 a(x) 和 b(x) 都 属于 F[x]/(x)， 则 a(x) 十 b(x) 在 F[x]/fx) 中 的 形式 同 在 F[x] 中 的 一 样 ， 
这 是 因为 deg a(x)<deg fx)，deg b(x)< deg f(x)， 因 而 deg (a(x) + b(x)) <deg f(x)。 

(2) 乘积 cCDBCo 是 次 数 小 二 deg fx)， 且 与 在 F[X] 中 的 a(x)b(w) 是 模 ftx) 同 余 的 惟一 一 个 多 项 式 。 

我 们 称 FIx]/Ax) 为 (Ex 上 ) 模 ftx) 的 多 项 式 环 。 在 前 面 曾 提 到 过 ， 环 满足 定义 域 的 8 个 定 
理 中 的 前 7 个 。 若 在 一 个 环 中 每 一 个 元 素 都 有 乘法 逆 元 ， 则 它 构成 一 个 域 。 


例 4.7 考虑 定义 在 GF(2) 上 的 FIx]/2 +x+D 中 的 乘积 x 十 1)。Gx 十 1 = 芝 十 x 二 x 十 1 二 夫 十 
1=x (mod x2+x+ 1), 

定义 在 GF(2) 上 的 F[x]/(x* 十 1) 中 的 乘积 (x 二 1) 可 表示 为 x+1》=x 十 x 十 Xx 十 1 = 十 1=0 
(mod x2+x + 1)。 

定义 在 GF(3) 上 的 F[x]/(x* 十 x 十 1) 中 的 乘积 (x+ 1 可 表示 为 (Xx 十 1 二 邓 十 Xx 十 XxX 十 1 二 驹 十 
2x+1=x (mod x 十 xX 十 1)。 

若 有 x) 的 次 数 为 4， 则 GF(q) 上 的 环 F[Ix]/Ax) 由 次 数 小 于 等 于 n 一 1 的 多 项 式 构成 。 这 个 环 
的 大 小 将 是 49”"， 因 为 多 项 式 的 n 个 系数 中 的 每 一 个 可 以 是 GF(qg) 中 g 个 元 素 的 任意 一 个 。 

例 4.8 考虑 定义 在 GF(2) 上 的 环 F[x]/(x* 十 x 十 1)。 这 个 环 中 的 多 项 式 的 最 高 次 数 为 !。 这 
个 环 有 4q"=2 =4 个 元 素 (每 个 元 素 都 是 一 个 多 项 式 ) 。 环 中 的 元 素 为 0、1、x 和 x+ 1。 加 法 和 
乘法 表 如 表 4-1 所 示 。 








表 4-1 针对 域 FIxl/(x + x+ 1) 的 加 法 和 乘法 表 





下 面 考虑 定义 在 GF(2) 上 的 F[x]/(x* + 1)。 该 环 的 元 素 为 0、1、x 和 x+ 1。 加 共和 乘法 表 如 
表 4-2 所 示 。 
表 4-2 针对 环 F[x]/(OC+ 1) 的 加 法 和 乘法 表 


| 
mr 
一 
值得 注意 的 是 FIx]/(x 十 x 十 1) 实际 上 是 域 ， 因 为 所 有 非 零 元 素 的 乘法 逆 元 也 都 存在 。 另 一 方 
面 ，FIx]/(x? 十 1) 就 不 是 域 ， 因 为 元 素 x+ 1 的 乘法 逆 元 不 存在 。 
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值得 探索 具有 什么 性 质 的 Ax) 能 使 F[x]/Ko 构成 域 。 我 们 很 快 会 发 现 ， 多 项 式 f(x) 必须 是 
既 约 的 《不 可 分 解 的 )。 


定义 4.5 Ff[x] 中 的 一 个 多 项 式 称 为 可 约 的 ， 如 果 存 在 FIX] 中 的 元 素 a(x) 和 b(Xx) 使 Kx)= 
a()b(x)， 其 中 deg a(x) 和 deg b(x) 部 小 于 deg fx)。 若 fx) 不 是 可 约 的 ， 则 称 为 婚约 的 。 次 数 至 
少 为 1 的 一 个 首 一 既 约 多 项 式 称 为 率 多 项 式 。 


有 必要 把 可 约 多 项 式 同 可 分 解 为 素数 乘积 的 正 整数 比较 一 下 。F[x] 中 的 任意 一 个 首 一 多 项 
式 可 惟一 分 解 为 一 些 既 约 首 一 多 项 式 〈 素 多 项 式 ) 的 乘积 。 检 验 素 多 项 式 的 一 种 方法 就 是 尝 
试 所 有 可 能 的 分 解 ， 这 需要 计算 机 搜索 。 任 意 伽 罗 瓦 域 上 的 任意 次 数 的 素 多 项 式 都 存在 。 


定理 4.1 

(1) 当 且 仅 当 fa) 二 0， 多 项 式 fx) 有 一 个 线性 因子 (x 一 aq)， 其 中 a 是 域 上 的 一 个 元 素 。 

(2) GF(q) 上 的 F[x] 中 的 次 数 为 2 或 3 的 一 个 多 项 式 fx) 是 既 约 的 ， 当 且 仅 当 对 GF(qg) 中 的 所 
有 元 素 4， 凡 ao) 关 0。 

(3) 在 任意 域 上 Xx" 一 1=(x 一 1)(x” 十 Xx" 十 … 十 xX 十 1) 都 成 立 。 第 二 个 因子 可 能 还 可 以 进 一 
步 约 分 。 

证 明 : 

(1) 著 用 x) 二 (x 一 qa)g(x)， 则 显然 有 f(a)= 二 0。 另 一 方面 ， 若 用 qa) 一 0， 由 除法 算法 知 ，f(x) = 
g(x)(x 一 Qa) 十 r(x)， 其 中 deg r(x)<deg (x 一 a)=1。 这 说 明 r(x) 是 个 常数 。 但 由 于 f(a)= 二 0，r(x) 
必然 为 零 ， 因 此 flx)= q(x)(x 一 a)。 

(2) GF(g) 上 的 次 数 为 2 或 3 的 一 个 多 项 式 是 可 约 的 ， 当 且 仅 当 它 有 一 个 线性 因子 ,因此 (2) 
中 的 结果 由 (1) 直接 可 得 。 该 结果 对 次 数 大 于 3 的 多 项 式 并 不 成 立 。 这 是 因为 一 个 次 数 为 4 或 
更 高 的 多 项 式 可 能 会 分 解 为 几 个 多 项 式 的 积 ， 但 它们 中 不 含 形 式 为 (x 一 a) 的 线性 因子 。 

(3) 由 (1) 得 ，(X 一 是 (x" 一 1) 的 一 个 因子 。 利 用 (x" 一 1) 对 (XxX 一 1) 的 坚 式 除 法 可 得 到 (Xx” 
十 xX" 十 … 十 XK 十 1)。 





例 4.9 ”考虑 GF(2) 上 的 fx) = 如 一 1。 利 用 定理 4.1 中 的 (3) 我 们 可 以 写 为 * 一 1=(x 一 1x 十 
x 十 1)。 这 种 分 解 在 任何 域 上 都 成 立 。 现 在 让 我 们 尝试 分 解 第 二 项 , p20)= C+x+1)。 
在 GF(2) 上 有 P(0)=0+0+1=1 
在 GF(2) 上 有 P(D)=1+1+1=1 
因此 p(x) 不 能 进一步 分 解 了 根据 定理 4.1 的 (2)) 。 
故 在 GF(2) 上 有 x 一 1 =(x 一 1)(x?+x 十 1)。 | 
下 面 考虑 /xz) = 过 一 1 在 GF(G3) 上 的 情况 ， 
1=(x— DD) +x+1) 
同样 令 p(x)= (x 十 x 十 1)， 
在 GF(3) 上 有 p(0)=0+0+1=1 
在 GF(3) 上 有 p(D=1+1+1=0 
在 GF(3) 上 有 Pp(2)=2.2+2+1I=1+2+1=1 
因为 pP(D)=0， 由 (1) 可 得 (x 一 1) 是 p(x) 的 一 个 因子 。 
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因此 在 GF(3) 上 有 
XC—1l=(x—1)(x—1) (x—1) 


定理 4.2 当 且 仅 当 fx) 是 F[X] 上 的 康 多 项 式 时 ， 环 F[x]/f(x) 是 域 。 

证 明 : 为 了 证 明 一 个 环 是 域 ， 我 们 必须 证 明 该 环 上 的 每 一 个 非 堆 元 素 都 有 一 个 乘法 北 元 。 
设 5(X) 是 该 环 上 的 一 个 非 替 元 素 ， 因 为 5(X) 包含 在 F[x]/f(x) 中 ， 我 们 有 deg SCO<deg f(x)。 可 
以 证 明 两 个 多 项 式 有 x) 和 s(x) 的 最 大 公国 子 (GCD) 可 表示 为 

GCDOx), s(x)) = aa)flx) + bp(x)s(x) 
其 中 a(x) 和 b(x) 部 是 GF(9) 上 的 多 项 式 。 因 为 flx) 在 FIx] 上 是 既 约 的 ， 我 们 有 
GCD(fA(x), s(x))=1=a(n)f(x) + b(x)s(x) 

于 是 ,1=Raol1] = Raola(x)f(x) + b(x)s(x)] 





= Ravla(X)IAx)] + Rawl bX)s(X)] (剩余 的 性 质 (1)) 
=0+ Raw[b(x)s(7)] 
= Rao{Raw[b(x)]. Raols(x)]} (剩余 的 性 质 (2)) 


二 Rraof{Rro[PGCo] . S(X)} 
故 Rrw[b(X)] 是 s(xX) 的 磁 法 北 元 。 
下 面 让 我 们 来 证 明定 理 的 必要 性 。 我 们 假定 Kx) 的 次 数 至 少 为 2， 而 且 不 是 素 多 项 式 (次 
数 为 1 的 多 项 式 总 是 既 约 的 ) 。 因 此 存在 次 数 至 少 为 1 的 多 项 式 r(xz) 和 s(x)， 使 
Ax) = r(x)s(x) 
若 环 F[x]/f(x) 确实 为 域 ， 那 么 r(x) 和 r-'(x) 的 乘法 有 意义 ， 因 为 域 中 所 有 多 项 式 都 必 存 在 对 应 
的 乘法 北 元 。 因 此 
s(xX) = Raa{s(x)} 
=RrofrCOr (X50)} = Rao{r (Or)s(X)} = Rrofr- (XAx)}=0 
但 我 们 已 经 假定 s(X) 半 0， 因 此 ， 产 生 了 矛盾。 此 矛盾 表明 该 环 不 是 域 。 
注意 一 个 素 多 项 式 既 为 首 一 的 ， 又 是 既 约 的 。 在 上 述 定 理 中 ， 要 想得到 一 个 域 ，flx) 为 既 
约 的 条 件 就 足够 了 。 上 述 定 理 其 实 可 以 表述 为 “ 环 F[xJMKx) 是 域 的 充分 必要 条 件 是 Kxz) 在 F[x] 
中 是 婚约 的 "。 
这 样 ， 我 们 现在 得 到 了 一 种 产生 伽 罗 瓦 域 的 溧 亮 的 过 程 ! 若 我 们 能 办 别 GF(q) 上 次 数 为 n 
的 一 个 素 多 项 式 ， 我 们 就 可 以 构造 一 个 有 qz" 个 元 素 的 徊 罗 瓦 域 。 这 样 的 域 将 含有 多 项 式 作为 
其 元 素 。 这 些 多 项 式 将 由 定义 在 GF(9g) 上 的 所 有 次 数 小 于 7 的 多 项 式 构 成 。 容 易 看 到 共有 9 个 
这 样 的 多 项 式 ， 它 们 组 成 了 扩 域 上 的 元 素 。 







例 4.10 考虑 GF(2) 上 的 多 项 式 pCo = 他 十 x 十 1。 因 为 p(0) 了 0 目 p(1) 隆 0， 该 多 项 式 在 GF(2) 上 是 
既 约 的 。 因 为 它 又 是 首 一 的 ， 故 p(x) 是 素 多 项 式 。 这 里 有 n=3， 所 以 我 们 可 以 用 p(x) 来 构造 2 =8 
个 元 素 的 域 ， 即 GF(8)。 这 个 域 上 的 元 素 将 为 0、1、x、x 十 1、 邓 、 儿 十 1、 居 十 Xx、 其 十 x 十 I， 它们 正 
好 是 次 数 小 于 = 3 的 全 部 可 能 的 多 项 式 。 很 容易 构造 这 个 域 上 的 加 法 和 乘法 表 ( 留 作 习题 )。 


建立 了 必要 的 数学 工具 之 后 ， 现 在 重新 回 到 我 们 对 循环 码 的 学 习 。 在 本 章 中 从 现在 开始 
我 们 固定 fx) =x 一 1。 我 们 也 把 F(x)/flx) 记 为 R,。 在 继续 进行 前 我 们 注意 到 下 面 的 结论 : 
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中 和 =1mod x* 一 1)。 因 此 任何 多 项 式 模 x" 一 1 时 ， 只 和 需 把 * 代 换 为 1!， 把 x"*! 代 换 为 x*<， 依 
此 类 推 。 ， 

(2) 一 个 码 字 可 以 惟一 地 用 一 个 多 项 式 表示 。 一 个 码 字 由 一 个 元 素 序 列 组 成 。 我 们 可 以 用 
一 个 多 项 式 来 表示 码 字 中 所 有 这 些 元 素 的 位 置 和 值 。 例 如 码 字 cocic2…c, 可 以 用 多 项 式 c(x) = 
co+cx+cxz 十 … 十 co 来 表示 。 另 外 一 个 例子 是 GF(8) 上 的 码 字 c=207735 可 以 用 多 项 式 表示 
为 cO0 = 二 2+7 庆 十 7 十 3X 十 5x5。 

(3) 任意 多 项 式 乘 以 xz 对 应 于 码 字 元 素 的 单一 右 循环 移 位 。 更 确切 地 说 ， 在 R, 中 用 x 乘 以 


c(Xx)， 得 到 x : c(x)=cox 十 ci 二 cox 十 … 十 Cx"1 1 二 Ci 十 COX 十 CIC 十 Co 十 + cn_1X"e 


定理 4.3 有 .中 的 一 个 码 C 是 御 环 码 的 充分 必要 条 件 是 C 满 足下 列 条 件 : 


(1) ao,pCODEC=aC) 二 BOEC (4-4) 
(2) aCDEC 且 rCOnER 一 aronEC (4-5) 
证 明 : 


(1) 假设 C 是 R, 中 的 一 个 循环 码 。 因 为 循环 码 是 线性 分 组 码 的 一 个 子 集 ， 故 第 一 个 条 件 满足 。 

(2) 设 r(X)==ro 十 x 十 fo 十 … 十 rx"。 谱 以 Xx 后 对 应 于 一 个 右 循 环 移 位 。 但 根据 定义 ， 一 个 
循环 码 字 的 循环 移 位 还 是 一 个 合法 码 字 ， 即 

xX: a(x)EC, x . (xa(x))EC 
依 此 类 推 。 因 此 
r(x)a(x) = roa(x) + rixa(x) + rx a(x) + … + rxa(x) 
也 在 C 中 ， 因 为 每 一 个 被 加 数 也 在 C 中 。 

下 面 我 们 证 明定 理 的 必要 性 。 假 定 (1) 和 (2) 都 满足 。 把 r(x) 看 做 一 个 常量 。 则 (1) 
表明 C 是 线性 的 。 在 (2) 中 令 r(x)=x， 这 表明 每 个 循环 移 位 都 会 产生 一 个 码 字 。 因 此 (1) 和 
(2) 表明 C 是 个 循环 码 。 

在 下 一 节 中 ， 我 们 将 用 到 目前 为 止 建立 起 来 的 数学 工具 来 构造 循环 码 。 


4.4 一 种 循环 码 的 生成 方法 


下 面 的 步 又 可 用 来 生成 一 个 循环 码 : 

(1) 在 R, 中 取 一 个 多 项 式 ftx)。 

(2) 用 R, 中 的 所 有 多 项 式 乘 以 f(x) 得 到 一 个 多 项 式 集合 。 

(3) 上 述 所 得 多 项 式 集合 对 应 属于 一 个 循环 码 的 码 字 的 集合 。 该 码 的 分 组 长 度 为 n。 





例 4.11 考虑 定义 在 GF(2) 上 的 R; 中 的 多 项 式 fx)= 1+x?。 一 般 地 ，R;= (FIxj/(2 一)) 中 的 

一 个 多 项 式 可 以 表示 为 r(x)=rot+rix+rx*， 其 中 系数 取 值 为 0 或 1 (因为 是 定义 在 GF(2) 上 的 )。 
因此 ， 定 义 在 GF(2) 上 的 R 中 的 多 项 式 有 2 x2x2= 8 个， 它们 是 0、1、 x x?、1+x、1 十 字 、x 

十 巡 、1 十 x 十 邓 。 要 生成 一 个 循环 码 ， 我 们 用 Rs 中 的 这 8 个 元 素 去 乘 以 fAx)， 然 后 将 结果 模 (一 1): 

(1+x) :0=0,(1+x) :1=(1+x), (1+x) .x=1+x, (1+x) : x=x+x, 

(1 二 2) (十 癌 一 X 十 和 ,( 人 (十 2 (TD 一 1 十 只 (xX 十 X= 二 (1 十 xX)， 

(1+xz : (1+x+x)=0。 


故 只 有 4 个 不 同 的 码 字 ，{0，1 十 x，1 十 邓 ，Xx 十 居 }， 它 们 对 应 于 {000，110，101,，011}。 





带 4 理 启 球 码 97 


从 上 面 的 例子 看 ， 我 们 似乎 有 一 个 生成 多 项 式 (Generator Polynomial) ， 它 可 以 用 来 构造 
循环 码 。 


定理 4.4 设 C 是 R, 中 (n,k) 非 零 循环 码 。 则 

(1) C 中 存在 惟一 一 个 最 小 次 数 的 首 一 多 项 式 g(X)。 

(2) 循环 码 C 由 所 有 生成 多 项 式 g(x) 与 次 数 不 大 于 K 一 1 的 多 项 式 的 乘积 构成 。 

(3) g(X) 是 x 一 1 的 一 个 因子 ，。 

证 明 ， 

(1) 设 g(x) 和 h(x) 都 是 C 中 最 小 次 数 的 首 一 多 项 式 ， 则 g(x) 一 h(x) 也 在 C 中 ,但 有 着 更 小 的 
次 数 。 如 果 g(X) 关 h(xX)， 则 可 以 找到 一 个 适当 的 常数 使 之 与 g(xX) 一 h(x) 的 乘积 是 首 一 的 ， 而 且 
也 在 C 中 ,但 决 数 小 于 g(x) 的 次 数 。 此 为 矛盾 。 

(2) 设 a(x)EC。 则 由 除法 公式 可 得 a(X) 二 g(x)g(X) 十 r(x)， 其 中 deg r(x)< 之 deg g(x)。 但 r(x)= 
Qa(X) 一 q(xX)g8(X)EC， 因 为 等 式 右边 是 两 个 码 字 。 但 g(x) 的 次 数 必 须 为 所 有 码 字 中 最 低 的 ， 这 只 
有 在 r(X)= 二 0 或 a(X) 二 g(x)g(x) 时 才 可 能 。 所 以 一 个 码 字 是 由 生成 多 项 式 g(X) 乘 以 多 项 式 g(xz) 得 
到 的 。 对 一 个 定义 在 GF(q) 上 的 码 ， 有 4q* 个 不 同 的 可 能 码 字 。 这 些 码 字 对 应 于 g(x) 与 4 个 不 同 
多 项 式 q(x) 的 乘积 ， 在 此 deg q(x) 万 (k 一 1)。 

(3) 根据 除法 算法 有 x 一 1 二 g(x)g(x) 十 r(x)， 这 里 deg r(x)<deg 8(X)， 或 者 r(x) 二 {x 一 1) 一 

q(x)g(X)} modulo (x" 一 1)== 一 g(x)g(X)。 但 是 一 q(x)g(X)EC， 因 为 我 们 在 用 生成 多 项 式 隧 以 另外 
一 个 多 项 式 一 g(x)。 这 与 g(x) 为 最 小 次 数 的 假设 相 了 矛盾 ,除非 r(x)=0。 这 表明 一 1g09809)， 
即 g(X) 是 好 一 1 的 一 个 因子 。 


定理 的 最 后 部 分 给 出 了 获得 一 个 循环 码 生 成 多 项 式 的 方法 。 我 们 只 需要 把 x 一 1 分 解 成 既 
约 的 首 一 多 项 式 。 仅 仅 通过 分 解 x 一 1 我 们 也 能 找到 所 有 分 组 长 度 为 x 的 可 能 的 循环 码 字 。 

注释 1， 一 个 循环 码 C 可 能 包含 除 生成 多 项 式 之 外 的 多 项 式 ， 它 也 能 生成 C。 但 只 有 最 小 
次 数 的 那个 多 项 式 才 称 为 生成 多 项 式 。 

注释 2: g(x) 的 次 数 为 n 一 k (这 一 点 将 在 后 面 得 到 证 明 )。 





例 4.12 ”要 找到 分 组 长 度 为 3 的 所 有 二 元 循环 码 ， 我 们 首先 分 解 w 一 1。 注 意 在 GF(2) 上 有 
1= 一 1， 因 为 1+1=0。 所 以 

x 一 l=x +1=(x+1)(x+x+1) 
因此 ， 我 们 制作 了 表 4-3。 


表 4-3 分 组 长 度 为 3 的 所 有 可 能 二 元 循环 码 


生成 多 项 式 码 (多 项 式 ) 码 (二 元 ) 

1 {R,} {000，001,，010，011, 
100,101,110, 111} 

(x+1) {0, x+1, Xxx,， 放 十 1}》 {000,011,，110，101} 

(2+x+ 1) {0, xX 二 xX 十 1} {000，111} 

(w+1)=0 {0} {000} 





由 生成 多 项 式 产生 码 字 的 一 个 简单 编码 规则 为 
C(x) = i(x)g (x) (4-6) 
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其 中 i(x) 为 信息 多 项 式 ，c(x) 为 码 字 多 项 式 , 而 g(x) 为 生成 多 项 式 。 我 们 已 经 看 到 在 字 (向 量 ) 
和 多 项 式 之 间 一 一 对 应 。 错 误 向 量 也 可 以 表示 为 错误 多 项 式 e(x)。 因 此 通过 一 个 有 品 信 道 后 在 
接收 端 收 到 的 字 可 以 表示 为 


v(xX) = c(x) + e(x) (4-7) 
我 们 定义 伴随 式 多 项 式 (Syndrome Polynomial) s(x) 为 v(x) 除 以 g(x) 之 后 的 余数 ， 即 
s(x) = Recolv(X)] = Recwlc(X) + e(x)] = Royle(x)] + Roele(x)] = RowLe()] (4-8) 


因为 由 式 (4-6) 得 Rco[c(x)]=0。 





例 4.13 考虑 分 组 长 度 为 n=4 的 三 元 循环 码 ( 即 在 GF(3) 上 ) 的 生成 多 项 式 g(x*)=? 十 1。 我 
们 这 里 处 理 的 是 循环 码 ，g(x) 的 最 高 宕 为 上 一 上 。 因 为 上 =4，X 必 为 2。 所 以 我 们 将 要 构造 一 个 (4， 
2) 三 元 循环 码 。 总 共有 信 = 子 = 9 个 码 字 。 信 息 多 项 式 和 对 应 的 码 字 多 项 式 在 表 4-4 中 列 出 。 


表 4-4 使 用 9()= 冯 + 1 构造 的 三 元 循环 码 


i i(x) c= ix)g(7) c 


00 0 0 0000 
01 1 如 十 1 0101 
02 2 2x2 十 2 0202 
10 X +x 1010 
11 X 十 1 妇 3 十 好 十 X 十 1 1111 
12 Xx 十 2 十 2 十 XX 十 2 1212 
20 2x 2x°+2x 2020 
21 2x+1 20++2x+1 2121 
22 2x 十 2 20 + 2x:+2x+2 2222 


可 以 看 出 任意 码 字 的 循环 移 位 将 得 到 另 一 个 合法 码 字 。 通 过 观察 我 们 发 现 这 个 码 的 最 小 
距离 为 2 (有 4 个 非 等 码 字 ， 其 最 小 汉 明 重量 =2)。 因 此 这 个 码 能 检测 1 个 错 和 纠 0 个 错 。 
观察 到 码 字 多 项 式 能 被 生成 多 项 式 整 除 的 事实 ， 我 们 可 以 检测 到 比 码 的 最 小 距离 所 显示 
的 更 多 的 错误 。 因 为 我 们 讨论 的 是 循环 码 ， 它 是 线性 分 组 码 的 一 个 子 集 ， 因 此 为 了 不 失 一 般 
性 ， 我 们 可 以 用 全 零 码 来 说 明 这 个 问题 。 
假设 g(x)=x+1， 要 传送 的 码 字 是 全 零 码 宇 。 那 么 接收 到 的 码 字 就 是 错误 多 项 式 ， 即 
v(xX)=c(x) +e(x)= e(x) (4-9) 


在 接收 端 ， 如 果 g(x) 不 能 整除 接收 到 的 字 v(x)==e(x)， 则 检测 到 一 个 错误 。 现 在 g(x) 只 有 
两 项 ， 因 此 如 果 e(x) 有 奇数 个 项 ， 即 如 果 错 误 个 数 为 奇数 ， 就 能 被 译 码 器 捕捉 到 。 例 如 我 们 
试图 用 g(x) 去 除 e(Co) = 妇 +xz+1， 总 是 得 到 一 个 余数 。 对 (4, 2) 循环 码 的 情况 ，8GCo = 疡 二 1， 
d* 二 2 说 明 我 们 可 以 检测 d' 一 1= 1 个 错 ， 但 由 此 我 们 发 现 它 可 以 检测 任何 奇数 个 数 小 于 等 于 的 
错误 。 在 这 种 情况 下 ， 它 可 以 检测 1 个 错 或 3 个 错 ， 但 不 能 检测 2 个 错 。 





4.5 循环 码 的 矩阵 描述 


定理 4.5 ”假设 C 是 一 个 循环 码 ， 其 生成 多 项 式 8( 如 一 8o 十 8 十 … 十 8 和 的 次 数 为 r。C 的 生 
成 拭 阵 为 





&0 8 0 00.… 0 
0 go 8 0 0 1: 0 
G=|I0 0 和 5880.… 0||*t=(n-7) 行 
0 00 0 0g ag (4-10) 
《二 
7 列 | 


证 明 : 算 阵 的 (n 一 r) 个 行 显然 是 线性 独立 的 ， 因 为 和 矩阵 是 阶梯 型 的 。 这 (n 一 r) 个 行 表 
示 码 字 g(x)，xg(X)，X28(X)，…，x" "1g(Xx)。 因 此 该 矩阵 可 以 生成 这 些 码 字 。 现 在 要 证 明 该 算 
阵 能 生成 所 有 可 能 的 码 字 ,我 们 必须 证 明 任 何 一 个 码 字 部 能 表示 为 码 字 g(x), xg(x), xg(x)，…， 
XY "lg(X) 的 线性 组 合 。 

我 们 知道 如 果 c(X) 是 个 码 字 ， 则 对 某 个 多 项 式 g(X)， 它 可 以 表示 为 

C(x)= q(x) . g(x) 
由 于 c(X) 的 次 数 小 于 n (因为 码 字 的 长 度 是 n)，。 我 们 有 g(x) 的 次 数 小 于 n 一 r。 所 以 
q(x) * g(X)=(qot+ qxt+ "+g "g(xX)= qo0g8(X) + qxg (0) + + gs 1X" g(x) 
因此 任意 码 字 可 以 表示 为 8(X)，xg(X)，x8(X)，…，Xr-" 1g(x) 的 一 个 线性 组 合 。 这 就 证 明了 矮 
阵 G 确 实 是 生成 矩阵 。 
我 们 还 知道 该 生成 矩阵 的 维 数 为 上 xP， 因 此 7= 叶 一 KK， 即 8(Gx) 的 次 数 为 n 一 k。 





例 4.14 ”要 找 出 分 组 长 度 为 上 =4 的 所 有 三 元 码 ( 即 在 GF(3) 上 的 码 ) 的 生成 矩阵 ， 我 们 首先 
分 解 x 一 1。 
Xi—1=(x—1)GC+x+x+1)=(x—1)(x+ 1)(x +1) 
我 们 知道 x* 一 1 的 所 有 因子 都 能 生成 一 个 循环 码 ， 结 果 生 成 矩阵 在 表 4-5 中 给 出 。 注 意 在 
GF(3) 上 有 一 1=2。 
表 4-5 GF(3) 上 分 组 长 度 n 二 4 的 循环 码 





g(x) (n, k) d’ G 

1 (4, 4) 1 [4] 
-1 1 0 0 

(x—1) (4,3) 2 0 -1 1 0 
0 0 -11 
1100 

(x+1) (4, 3) 2 0110 
0011 
1010 

2 4,2 2 

(P+) (4, 2) | ,0 | 
-1 0 10 

2 

(2 1) (4,2) 2 | 1 | 

x+x—1) (4, 1) 4 [-1 1 -1 1] 

(x + 十 xX 十 1) (4,1) 4 [1 11 1] 


(x*—1) (4, 1) 0 [0 0 0 0] 
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从 表 中 可 以 看 出 没有 一 个 (4, 2) 三 元 循环 码 是 单一 纠 错 码 (因为 它们 的 最 小 距离 小 于 3)。 有 
趣 的 是 我 们 看 到 没有 一 个 三 元 (4, 2) 汉 明 码 是 循环 码 ! 记 住 汉 明 码 是 单一 纠 错 码 ， 其 中 n= 
(g9 一 1)(g 一 1) 且 k=(g' 一 1)/(g 一 1) 一 +r， 这 里 r 是 大 于 等 于 2 的 整数 。 因 此 (4, 2) 三 元 汉 明 码 存 
在 ， 但 不 是 循环 码 。 





下 一 步 是 研究 我 们 能 否 发 现 对 应 于 生成 多 项 式 g(x) 的 奇偶 校 验 多 项 式 。 我 们 已 经 知道 g(x) 

是 x 一 1 的 一 个 因子 ， 因 此 可 以 写 为 
x —1=h(x)g(x) (4-11) 

其 中 h(x) 是 某 个 多 项 式 。 通 过 观察 上 式 可 以 得 到 下 述 结论 : 

(1) 因为 g(x) 是 首 一 的 ，h(x) 也 必定 为 首 一 的 ， 因 为 等 号 左边 是 首 一 的 (最 高 项 系数 为 1 )。 

(2) 因为 g(x) 的 次 数 为 n 一 k，h(x) 的 次 数 必 定 为 。 

假设 C 是 R, 中 的 一 个 循环 码 ， 其 生成 多 项 式 为 g(x)。 我 们 把 F[xj/fx) 记 为 R,， 其 中 Rx) = 一 1。 
在 R, 中 ，h(x)g(x)=xY 一 1==0， 则 任何 属于 C 的 码 字 可 以 写 为 c(X)=a(x)g(x)， 共 中 多 项 式 a(X)ER,， 
因此 在 R, 中 有 

c(x)A(x) = a(x)g(x)h(x) = a(x) : 0=0 

因此 h(x) 的 表现 就 像 一 个 奇偶 校 验 多 项 式 。 任 何 合法 码 字 乘 以 奇偶 校 验 多 项 式 都 变 成 一 个 零 
多 项 式 。 这 个 概念 跟 第 3 章 中 介绍 的 奇偶 校 验 和 矩阵 可 以 相提并论 。 因 为 我 们 仍然 在 线性 分 组 码 
领域 ， 继 续 定义 与 奇偶 校 验 多 项 式 相 关 的 奇偶 校 验 和 矩阵 。 

设 C 是 一 个 循环 码 ， 它 的 奇偶 校 验 多 项 式 为 h(x)==ho+hx 十 … 十 hx:， 则 C 的 奇偶 校 验 年 
阵 为 


hh 0 0 0 .0 
0 hh hb 7 hh 0 0 0 
H= |0 0 hh hl 下 0 .0 (2 一 月 行 
0 0 0 0 0 hh hl 名 
二 下 (4-12) 
n 到 | 


前 面 提 到 cH”=0， 因 此 对 任意 信息 向 量 有 iGH" 一 0，- 故 GH” =0。 进 一 步 有 s 一 vH"， 其 中 s 
是 伴随 式 向 量 ， 而 "是 接收 到 的 字 。 





例 4.15 对 分 组 长 度 n=7 的 二 元 码 ， 我 们 有 


x l= (r+x+ D+x+t+1) 


考虑 g(x)=(x? 十 x 十 1)。 因 为 g(x) 是 x 一 1 的 一 个 因子 ， 有 一 个 由 它 生 成 的 循环 码 。 对 应 于 g(x) 
的 生成 矩阵 为 


] 
0 
1 
1 


一 OO 
已 一 局 吕 


0 
0 
0 
1 


©Ooor- 
OO- 
OO 


它 的 奇偶 校 验 多 项 式 h(x) 为 (x 一 DO 二 对 十 了)= (x 十 邓 十 x 十 1)， 其 对 应 的 奇偶 校 验算 阵 为 


肿 4 旭 了 球 码 707 


101 1 100 
H=|0 10 1 1 10 
00 10111 


该 码 的 最 小 距离 为 3， 它 恰好 为 (7, 4) 汉 明 码 。 因 此 二 元 (7, 4) 汉 明 码 也 是 个 循环 码 ， 并 具 
有 生成 多 项 式 g(x)=(x” + + 1)。 





4.6 准 循环 码 和 截 短 循环 码 
在 本 节 中 ， 我 们 将 学 习 和 循环 码 紧密 相 联 的 一 些 编码 。 


定义 4.6 一 个 (n,) 准 循环 码 是 一 个 线性 分 组 编码 需要 满足 条 件 : 对 和 7 互 素 的 某 个 中， 如 
果 c(x) 是 一 个 有 效 的 码 字 多 项 式 ， 则 多 项 式 x"c (xX) 对 (x" 一 1) 取 模 也 是 一 个 码 字 多 项 式 。 





例 4.16 考虑 由 以 下 生成 矩阵 给 出 的 一 个 (12, 4) 准 循环 码 


111011000001 

Cooll1l1011000 

000001111011 

011000001111 
行 





通过 丢弃 每 次 的 第 m 个 符号 〈m 是 上 的 一 个 因子 ) ， 任 何 循环 码 均 可 以 成 为 一 个 准 循环 码 。 
如 果 所 丢弃 的 符号 都 不 是 校 验 符号 ， 则 此 准 循环 码 是 一 个 截 短 的 码 。 这 就 意味 着 所 有 丢弃 的 
符号 都 是 数据 符号 ， 而 这 些 符号 都 可 以 首先 被 设置 为 0。 

定义 4.7 一 个 (n, 如 线性 码 可 以 成 为 一 个 截 短 循环 码 ， 如 有 果 它 是 从 (n+m，k+10) 柱 环 码 中 通 
过 删除 m 个 连续 的 位 置 而 得 到 的 。 

截 短 码 中 未 使 用 的 符号 通常 被 设置 为 0%， 并 且 不 被 传输 。 接 收 端 在 解码 之 前 重 插入 这 些 0。 
因此 ， 虽 然 这 些 码 不 再 是 循环 码 ， 但 如 果 这 些 0 被 正确 对 待 后， 同样 的 编码 器 和 译 码 器 仍然 可 
以 被 使 用 。 





例 4.17 考虑 一 个 (7, 4) 议 明码 〈 它 也 是 一 个 循环 码 ) 。 我 们 可 以 通过 如 下 方法 得 到 一 个 截 
短 的 (5, 3) 码 : 码 字 中 的 前 商 位 被 设置 为 0， 随 后 紧 接 着 两 个 信息 比特 和 同样 的 三 个 奇偶 校 验 
比特 。 此 截 短 码 的 最 小 距离 是 3。 因 此 ， 它 是 一 个 单个 错误 的 校正 码 。 


4.7 突 发 错误 纠 错 


在 许多 现实 生活 的 信和 道中， 错误 不 是 随机 的 ， 而 是 突 发 的 。 例 如 在 一 个 移动 通信 信道 中 ， 
信号 衰退 导致 突 发 错误 。 当 错误 连续 发 生 时 ， 我 们 称 它们 为 突 发 错误 (burst error)。 





例 4.18 设 要 通过 一 个 无 线 信道 以 IOKbit/s 的 速度 传输 的 比特 序列 为 
c=0100011101010000101101 
假设 在 开始 传输 后 的 0.5ms 后 信道 经 历 了 持续 lms 的 衰退 ， 在 这 段 时 间 内 信道 把 传输 的 比特 搞 
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乱 了 。 错 误 序 列 可 以 写 为 
b=0000011011011110000000 


这 是 一 个 突 发 错误 的 例子 ， 这 里 传输 序列 出 错 部 分 是 由 信道 造成 的 。 这 里 突 发 的 长 度 为 
10 比 特 。 但 是 ， 并 不 是 所 有 10 个 位 置 都 发 生 了 错误 。 





定义 4.8 ”一 个 长 为 ! 的 循环 突 发 是 一 个 向 量 ， 它 的 非 零 分 量 在 ! 个 连续 位 置 ， 第 一 个 和 最 
后 一 个 分 量 不 为 索 。 

如 果 我 们 在 为 易 发 生长 度 为 f 的 突 发 性 错误 (不同 于 任意 1 个 随机 错误 的 模式 ) 的 信道 构造 
码 ， 一定 可 以 设计 出 更 有 效 的 码 。 我 们 可 以 把 一 个 突 发 错误 描述 为 

e(x)=x : b(x) (4-13) 

其 中 e(X) 是 次 数 小 于 擎 于 1 一 1 的 多 项 式 ，b(x) 是 突 发 模式 。Xx 标 记 了 当 友 学 开始 发 送 以 后 突 发 
错误 模式 的 起 始 位 置 。 

一 个 为 纠 突 发 错误 设计 的 码 必 须 对 每 一 个 错误 模式 有 疏 一 的 伴随 式 ， 即 


SO) 一 及 sm[e(o] (4-14) 
对 每 一 个 表示 长 度 为 ! 的 突 发 的 多 项 式 都 不 同 。 





例 4.19 对 一 个 分 组 长 度 m=15 的 二 元 码 ， 考 虑 生成 多 项 式 
g(x) = 十 庆 十 廊 十 X 十 1 
这 个 码 有 能 力 纠 长 度 不 大 于 3 的 突 发 错 。 要 证 有 明 这 一 点 必须 证 明 对 应 于 不 同 突 发 错误 的 所 有 伴 
随 式 都 不 同 。 不 同 的 突 发 错误 如 下 : 


() 长 度 为 1 的 突 发 
e(x)=xi,i=0,1,:…,14 
(2) 长 度 为 2 的 突 发 
e(x)=x  : (1+x),i=0,1,..…,13 
(3) 长 度 为 3 的 突 发 
e(x)=xi: (1+x+x), i=0, 1, 12 和 e(O) = 天 (1+x),i=0, 1 12 


可 以 证 明 ， 所 有 这 55 〈15+14+13+13) 个 错误 模式 的 伴随 式 都 不 相同 。 可 以 创建 一 个 
错误 模式 和 对 应 伴随 式 的 表 ， 这 个 表 可 用 来 纠 长 度 不 大 于 3 的 突 发 错误 。 应 该 强调 的 是 为 纠 突 
发 错误 专门 设计 的 码 具 有 更 好 的 码 率 。 这 里 讨论 的 是 一 个 (15, 9) 循环 码 ， 码 率 为 Kn=0.6， 
最 小 距离 4 = 3。 这 个 码 只 能 纠 1 个 随机 错误 (但 可 以 纠 3 个 突 发 错误 )。 注 意 纠 一 个 随机 错 相 
当 于 纠 长 度 为 1 的 突 发 错误 。 





类 似 于 第 3 章 中 学 习 的 Singleton 界 ， 对 纠 突 发 错误 的 线性 纠 错 码 所 需 的 最 小 奇偶 校 验 比 特 
数 也 有 一 个 界 :“ 一 个 能 纠 所 有 长 度 不 大 于 ;的 突 发 性 错误 的 线性 分 组 码 必 须 有 至 少 21 个 奇偶 校 
验 符号 。 

在 接 下 来 的 三 节 中 ， 我 们 将 学 习 三 个 不 同 的 循环 码 的 子 类 ， 每 个 子 类 都 有 一 个 特殊 目的 。 
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4.8 Fire 码 


定义 4.9 Fire 码 是 GF(9) 上 纠 突 发 错误 的 循环 码 ， 它 的 生成 多 项 式 为 
S(O0 三 (一 DPCOD (4-15) 
其 中 p(x) 是 GF(q) 上 的 一 个 素 多 项 式 ， 它 的 次 数据 不 小 于 1 而 且 p(x) 不 整除 x*! 一 1。Fire 码 的 分 
组 长 度 是 满足 g(x) 整除 x? 一 1 的 最 小 整数 hn。Fire 码 可 以 纠 长 度 不 大 于 it 的 所 有 突 发 错误 。 





例 4.20 ”考虑 满足 :=m=3 的 Fire 码 。GF(2) 上 的 一 个 次 数 为 3 的 素 多 项 式 为 p(x) = 人 ?十 x 十 1， 
它 不 整除 (一 1)。 该 Fire 码 的 生成 多 项 式 为 
8X2) = — Dp)=— 1 +x+1) 

二 牙 十 Xs 十 X55 一 Xx 一 Xx 一 1 

一 丰 十 妈 十 邓 十 妇 十 X 十 1 
8(X) 的 次 数 为 n 一 k= 二 8。 分 组 长 度 是 满足 g(x) 且 能 整除 "一 1 的 最 小 的 整数 n。 经 过 尝试 我 们 得 
到 n= 35。 因 此 该 Fire 码 的 参数 为 (35, 27) ，8(O = 下 十 入 十 好 十 和 大 二 X 十 1。 这 个 码 可 以 纠 长 度 
不 大 于 3 的 突 发 错误 。 该 码 的 码 率 为 0.77，、 比 由 g(x)=xs++ 台 + 台 十 x 十 1 生成 移 码 更 有 效 ， 后 者 
的 码 率 为 0.6。 
当 增 加 :时 Fire 码 会 变 得 更 有 效 。 二 元 Fire 码 的 码 率 ( 当 m= 1! 肝 ) 对 不 同 的 ! 值 如 图 4-1 所 示 。 


1 





图 4-1 不 同 Fire 码 的 码 率 





4.9 Golay 码 
4.9.1 二 元 Golay 码 
在 3.9 节 中 我 们 看 到 (23, 12) 完备 码 是 存在 的 ， 它 的 d= 二 7。 对 一 个 完备 码 ， 


m0)+ (3)o- 0+ (so 1) -d= (10) 


它 满足 下 列 一 组 值 : n=23,， k=12，M=2:=2?，g=2 以 及 1=(4* 一 1)/2=3。 这 个 (23， 
12) 完备 码 就 是 二 元 Golay 码 。 我 们 现在 将 把 这 个 完备 码 当 做 循环 码 来 研究 。 我 们 从 分 解 
(x” 一 1) 开始 。 
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(= 人 De 二 和 十 姑 二 5 十 十 和 十 下 ( 人 十 X9 十 好 十 验证 驻 十 和 二 1) 
= (1) &( gO (4-17) 


SiC 的 次 数 为 x 一 k=11， 因 此 k=12， 表 明 存 在 (23, 12) 循环 码 。 为 了 证 明 它 是 完备 码 ， 我 
们 必须 证 明 这 个 (23, 12) 循环 码 的 最 小 距离 为 7。 一 种 方法 是 写 出 奇偶 校 验 矩阵 五 并 证 明 没 
有 任何 6 列 是 线性 相关 的 。 另 一 种 方法 是 用 分 析 法 证 明 ， 这 是 一 种 宛 长 的 证 明 。 最 简单 的 方法 
是 写 一 个 程序 列 出 所 有 2… 个 码 字 并 找 出 最 小 重量 (一 台 快 速 计算 机 需要 30 秒 )。 它 的 码 率 为 
0.52， 而 且 它 是 一 个 纠 三 个 错误 的 码 。 但 是 这 个 完备 码 相 对 较 小 的 分 组 长 度 使 得 它 在 很 多 实 
际 应 用 中 都 不 实用 。 


4.9.2 二 元 Golay 码 


我 们 下 面 检查 三 元 (11, 6) 循环 码 ， 它 也 是 三 元 Golay 码 。 这 个 码 的 最 小 距离 =5， 而 且 
可 以 验证 为 一 个 完备 码 。 我 们 从 在 GF(3) 上 分 解 (x"' 一 1) 开始 。 


(x11—l1)= x- 1) + (x 1) 
= (x— 1) g(» g(Y (4-18) 


81(7) 的 次 数 为 1 一 k=5， 因 此 k=6， 表 明 存 在 (11, 6) 循环 码 。 为 了 证 明 它 是 完备 码 ， 我 们 必 
须 证 明 这 个 (11, 6) 循环 码 的 最 小 距离 为 5。 我 们 再 一 次 用 计算 机 穷 举 搜索 的 方法 发 现 它 的 最 
小 距离 确实 是 5。 

可 以 证 明 (x* 一 1) 在 GF(2) 上 的 分 解 形式 为 (x 一 1)gi(x)g2(x)， 其 中 p 是 型 为 8m 土 1 (mm 是 
一 个 正 整数 ) 的 素数 。 在 这 种 情况 下 ，g,(x) 和 g(x) 生成 等 价 码 。 如 果 由 gi(x) 所 生成 的 码 的 最 
小 距离 是 奇数 ， 那 么 它 满足 平方 根 界 (square root bound) 


d'>yp (4-19) 
注意 p 表 示 分 组 长 度 。 


4.10 循环 元 余 校 验 (CRC) 码 


错误 检测 码 中 的 一 种 常见 的 码 是 循环 元 余 校 验 码 。 对 一 个 k 比 特 块 ，(n, x) CRC 编 码 器 产 
生 (n 一 k) 比特 长 的 帧 检查 序列 (FCS ) 。 我 们 给 出 如 下 定义 ， 

T=n 比 特 要 传输 的 帧 

D=k 比 特 消 息 组 (信息 比特 ) 

=(n 一 有 比特 FCS，7T 的 最 后 (n 一 k) 比特 

P= 预先 确定 的 除数 ，(n 一 k+1) 比特 长 的 模块 

预先 确定 的 除数 P 应 该 能 整除 码 字 T。 因 此 T/P 没 有 余数 。 现 在 D 是 一 个 k 比 特 消 息 组 。 
此 2”"“D 相 当 于 把 比特 向 左 移 位 (n 一 k) 比特 ， 并 在 移出 的 空位 添加 零 ( 记 住 一 个 二 元 序列 
向 左 移 动 一 比特 等 价 于 对 该 二 元 序列 所 表示 的 数 乘 以 2) 。 码 字 7 可 以 表示 为 

T=2"tD+F (4-20) 

在 上 述 等 式 中 添加 有 构成 D 和 天 的 连接 。 如 果 我 们 用 2 只 除 以 P， 可 得 到 


2*-tD R 
二 0+ 二 - 
5 Q+ 3 (4-21) 
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其 中 C 是 商 ，R/P 是 余数 。 假 设 我 们 用 R 作 为 FCS ， 则 有 
T= 2**D+R (4-22) 
在 此 情况 下 ， 用 7 从 以 P 我 们 得 到 
T 2TD+R 2°°D R 


P P P P 
R R R+R 
= 一 + 一 = 一 一 一 -~ 4-23 
Q+tp+5-Q+ (4-23) 


因此 没有 余数 ， 即 7 正好 被 P 整 除 。 要 生成 这 样 一 个 FCS， 我 们 只 需 用 2"-“D 除 以 P， 然 后 用 
(n 一 及 比特 余数 作为 FCS 即 可 。 
设 当 7 通过 有 噪 信道 传输 时 发 生 了 错误 E。 接 收 到 的 码 字 为 


V=T+E (4-24) 


仅 当 V 完 全 被 ?整除 时 ，CRC 方 案 不 能 检测 错误 。 这 就 是 当 E 可 以 完全 被 P 整 除 时 的 情况 (因为 
7 是 可 以 被 P 整 除 的 )。 





例 4.21 ” 设 消 息 D==1010001101， 即 k=10 且 模块 为 P=110101。FCS 的 比特 数 为 5。 因 此 n= 
15。 我 们 希望 确定 FCS。 
首先 ， 将 消息 乘 以 2”( 左 移 5 位 并 添加 5 个 零 )， 得 到 
25D = 101000110100000 
接着 把 得 到 的 结果 除 以 P= 110101。 通 过 除法 运算 我 们 得 到 CO= 1101010110 和 R= 01110。 将 余 
数 加 到 25D 中 得 到 
T= 101000110101110 
7 是 要 传送 的 码 字 。 如 果 信 道中 不 发 生 错 误 ， 接 收 到 的 码 字 除 以 P 时 得 到 的 余数 为 0。 





CRC 码 也 可 以 用 多 项 式 表示 来 定义 。 设 消息 多 项 式 为 D(x)， 预 先 确定 的 除数 为 P(x)。 于 是 





x"-t D(x) 加 R(x) 
P(x) = QW + P(x) 
T(W = x*-* D(N + R(x) (4-25) 
在 接收 端 ， 将 收 到 的 码 字 除 以 P(x)。 假 设 收 到 的 码 字 是 
VW = T(x) + E(%) (4-26) 


其 中 E(x) 是 错误 多 项 式 。 则 有 [T(x) + E(x)]/P(x) = E(x)P(x)， 这 是 因为 T(x)/P(x)=0。 那 些 正巧 
包含 P(x) 为 一 个 因子 的 错误 将 会 溜 掉 ， 其 余 的 将 在 CRC 译 码 器 网 上 捕捉 到 。 多 项 式 P(x) 又 称 
为 CRC 码 的 生成 多 项 式 。CRC 码 又 称 为 多 项 式 码 (Polynomial Code)。 





. 例 4.22 ”假设 要 传输 的 码 字 发 生 单 比特 错误 。 错 误 多 项 式 E(x) 可 以 表示 为 E(x) x*， 其 中 i 决 
定 错误 比特 的 位 置 。 如 果 P(x) 包含 两 个 或 两 个 以 上 的 项 ， 则 E(x)/P(x) 永远 都 不 可 能 为 零 。 因 此 
CRC 码 可 以 捕获 所 有 单个 错误 。 

例 4.23 假设 发 生 了 两 个 单独 的 错误 ， 即 E(x) 十，i>j。 我 们 也 可 以 写成 E(x)=x(x 一 二 TD。 
如 果 我 们 假设 P(x) 不 能 被 x 整除 ， 那 么 可 以 检测 所 有 两 个 错误 的 充分 条 件 是 对 所 有 不 大 于 i 一 j 
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( 即 帧 的 长 度 ) 的 值 :，P(x) 都 不 能 整除 共 +1。 例 如 对 所 有 小 于 32 768 的 k 值 ，xs+z4+1 都 将 不 
整除 x 六 十 1。 


例 4.24 ”假设 错误 多 项 式 有 奇数 个 项 (对 应 于 奇数 个 错误 )。 一 种 有 趣 的 现象 是 在 二 元 算 
数 〈 即 模 2 运算 ) 下 ， 没 有 一 个 含 奇数 个 项 的 多 项 式 以 x+ 1 作为 一 个 因子 。 把 (x+ 1) 作为 
P(x) 的 一 个 因子 ， 则 可 以 捕捉 到 所 有 由 奇数 个 比特 组 成 的 错误 〈 即 我 们 可 以 捕捉 到 至 少 所 有 
可 能 错误 的 一 半 ) 。 





CRC 码 的 另 一 个 有 趣 的 特点 是 它 的 检测 突 发 错误 的 能 力 。 一 个 长 为 的 突 发 错误 可 以 表示 
为 XGO 千 x“ 十 … 十 1), 其 中 i 决定 突 发 错误 在 接收 到 的 码 字 从 右 端 数 有 多 远 。 如 果 P(x) 用 项 ， 
则 它 不 含 因子 r， 故 若 (x 十 x 十 … 十 1) 的 次 数 小 于 P(x) 的 次 数 ， 则 余数 永远 不 可 能 为 零 。 
因此 一 个 有 r 个 校 验 比特 的 多 项 式 码 可 以 检测 到 所 有 长 度 小 于 等 于 r 的 突 发 错误 。 如 果 突 发 错误 
的 长 度 为 r+1， 当 且 仅 当 突 发 错误 与 PCo 完全 一 样 时 ， 它 除 以 P(x) 的 余数 为 零 。 根 据 定义 ， 一 
个 突 发 错误 的 第 一 个 和 最 后 一 个 比特 必须 为 1， 中 间 的 比特 可 以 为 1 或 0。 因此 突 发 错误 与 P(x) 
9 完全 吻合 决定 于 中 间 的 一 1 个 比特 。 假 如 所 有 的 组 合 都 等 可 能 ， 一 个 遗 缺 的 概率 为 112!。 
我 们 可 以 证 明 当 长 度 大 于 r+ 1 的 突 发 错误 发 生 时 ， 或 几 个 短 的 突 发 错误 发 生 时 ， 一 个 坏 帧 被 漏 
掉 的 概率 为 1/2。 





例 4.25 有 4 个 版 本 的 P(x) 已 变 成 国际 标准 : 

CRC-12:，P(Oo =x2 十 xz 十 好 3 十 妇 十 X 十 1 

CRC-16:，PCOm) =X16 十 X05 十 和 十 1 

CRC-CCITT; P(x)=x!':+x's+x’ 二 1 

CRC-32:，P(o) 一 X22 十 X26 十 X23 十 X2 十 Xl6 十 X2 十 X 十 XI0 

十 娼 十 和 十 呈 十 料 十 好 十 X 十 1 (4-27) 

所 有 这 四 个 多 项 式 都 含有 (x+1) 作为 一 个 因子 。CRC-12 用 来 传送 6 比特 字符 的 数据 流 并 生成 
12 比 特 FCS。CRC-16 和 CRC-CCITT 都 对 8 比特 的 字符 很 流行 ， 它 们 产生 16 比 特 的 FCS 并 能 捕获 
所 有 单个 和 两 个 错误 、 所 有 奇数 比特 的 错 、 所 有 长 度 小 于 或 等 于 16 的 突 发 错误 、99.997% 的 17 
比特 的 突 发 错误 和 99.998% 的 18 比 特 及 更 长 的 突 发 错误 。CRC-32 用 来 作为 某 些 点 对 点 同步 传 
输 标准 (Synchronous Transmission Standard) 的 可 选项 。 





4.11 循环 码 的 电路 实现 


移 位 寄存 器 可 以 很 容易 实现 循环 码 的 编码 和 译 码 。 循 环 码 的 编码 和 译 码 需要 多 项 式 的 乘 
法 和 除 靶 ， 移 位 寄存 器 的 移 位 性 质 对 这 些 运算 是 很 适合 的 。 移 位 寄存 器 就 是 一 些 存储 单元 库 ， 
它们 能 够 在 每 次 时 钟 脉冲 时 将 一 个 单元 的 内 容 移 到 下 一 个 单元 。 这 里 我 们 将 把 注意 力 集中 在 
GF(2”") 上 的 码 的 电路 实现 。 除 移 位 寄存 器 外 ， 我 们 还 将 用 到 下 面 的 电路 元 素 : 

(1) 常量 ， 它 的 任务 就 是 对 输入 乘 以 一 个 固定 的 域 上 的 元 素 。 

(2) 加 法 器 ， 它 把 两 个 输入 加 在 一 起 。 加 法 器 的 一 种 简单 电路 实现 就 是 “ 异 或 ” 门 或 简称 
为 “xor”。 

(3) 乘法 器 ， 实 际 上 就 是 “与 ” 门 。 

这 些 元 素 如 图 4-2 所 示 。 
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N 阶 移 位 寄存 器 





常量 加 法 器 乘法 器 
图 4-2 用 于 构造 循环 码 编码 器 和 译 码 器 的 电路 元 素 


GF(2) 上 的 一 个 域 元 素 可 以 用 单一 比特 表示 。 对 GF(2”) 我 们 需要 m 比 特 来 表示 一 个 元 素 。 
例如 GF(8) 上 的 元 素 可 以 表示 为 {000，001，010，011，100，101，110，111}。 对 这 样 的 一 
种 表示 我 们 需要 3 个 时 钟 脉冲 才能 将 移 位 寄存 器 的 一 个 阶段 的 元 素 移 至 下 一 个 状态 。 图 4-3 给 
出 了 GF(8) 的 效果 移 位 寄存 器 。 这 个 域 上 的 任意 元 素 可 以 表示 为 ax?+bx+c， 其 中 a、b 和 c 为 
二 元 数 ， 未 定 元 x 的 乱用 来 表示 位 置 。 例 如 101 =x 十 1。 


vv—— 


有 效 移 位 寄存 器 的 一 个 阶段 





图 4-3 GF(8) 的 效果 移 位 寄存 器 





例 4.26 ”我 们 现在 考虑 任意 元 素 与 GF(8) 上 另 一 域 元 素 的 乘法 。 回 顾 由 GF(2) 构造 GF(8) 的 
过 程 中 我 们 用 到 素 多 项 式 pC0 =* +x+1， 该 域 上 的 元 素 将 为 0、1、xz、x+1、 妇 、 妇 十 1、 妇 十 区 
十 x 十 1。 我 们 想得到 任意 域 元 素 (ax +bx+c) 和 另 一 元 素 ， 比 如 刀 +x 的 乘法 的 电路 表示 。 我 
们 得 到 
(ae 十 px 二 clGO2 十 加 =al 二 (e+b)TT(BT+Tcxz+Tcr (modulo p(x)) 
=(atb+t+c)x+(b+c)xt+(at+b) 


一 种 可 能 的 电路 实现 如 图 4-4 所 示 。 





图 4-4 GF(8) 上 任意 域 元素 (ax + bx + co) 与 元 素 (XY + 为 的 乘法 





我 们 下 面 把 注意 力 放 在 任意 多 项 式 a(x) 和 g(x) 的 乘法 。 设 多 项 式 g(x) 可 以 表示 为 
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8(x) = gxXt+ + giX+ go (4-28) 
多 项 式 a(x) 表示 为 
a(X) 二 Qix 十 … 十 QjX 十 qo (4-29) 
乘积 多 项 式 p(CoO = al(x)g(x) 可 以 表示 为 
b(x)=b, x r++ bx+ bo (4-30) 


b(x) 的 电路 实现 如 图 4-5 所 示 。 这 是 个 线性 前 馈 移 位 寄存 器 。 它 也 称 为 有 限 脉 冲 响应 (Finite 
Impulse Response, FIR) 过 滤器 。 





图 4-5 两 个 多 项 式 b(x) = ao g(%) 产 生 的 有 限 脉 剖 响 应 过 滤器 实现 
按照 电气 工程 术语 ，a(x) 和 g(x) 的 系数 由 移 位 寄存 器 做 卷 积 运算 。 为 此 ， 我 们 有 两 个 多 
项 式 乘法 的 电路 实现 。 因 此 我 们 有 实现 循环 码 编码 的 有 效 方法 ， 即 用 生成 多 项 式 乘 以 信息 多 
项 式 。 





例 4.27 图 4-6 给 出 的 是 下 述 生 成 多 项 式 的 编码 器 电路 图 
8 一刀 十 好 士 态 十 妇 十 K 十 ] 
这 是 一 个 Fire 码 在 1= m= 3 时 的 生成 多 项 式 。 很 容易 理解 该 电路 图 : 8 个 记忆 单元 对 输入 进行 移 
位 ， 每 次 一 个 单元 。 移 位 输出 在 适当 的 位 置 相 加 。 有 5 个 加 法 器 对 6 个 移 位 的 输入 本 做 加 法 。 





图 4-6 Fire 码 生成 多 项 式 g(x) = 小 十 三 十 大 十 如 十 + 十 1 的 编码 器 的 电路 实现 





我 们 也 可 以 用 移 位 寄存 器 电路 做 任意 一 个 多 项 式 a(x) 对 一 个 国定 多 项 式 g8(z) 的 除法 。 假 
定 除 数 是 首 一 多 项 式 。 我 们 已 经 知道 怎样 除 以 一 个 常数 将 任 一 多 项 式 转化 为 首 一 多 项 式 。 除 
法 过 程 可 以 用 一 对 递归 方程 来 描述 。 设 Q(x) 和 R(x) 为 在 第 r 步 递归 的 商 多 项 式 和 余数 多 项 
式 ， 其 初 值 条 件 为 G(x) =0，RW(x) =a(x)。 那 么 递 妇 方程 可 以 写 为 


CoCo = QV(x) + Rox” 
RO(x)= RO VX) R, ,x g(x) (4-31) 


其 中 Ru _- 表示 余数 多 项 式 在 第 (r 一 1) 步 的 最 高 次 项 的 系数 。 
对 于 用 一 个 固定 多 项 式 g(x) 去 除 任意 多 项 式 a(x) 的 情况 ， 电 路 实现 如 图 4-7 所 示 。 经 过 ?次 


霜 4 介 所 环 码 1709 


移 位 后 ， 商 由 移 位 寄存 器 输出 ， 而 留 在 移 位 寄存 器 里 的 是 余数 。 因 此 用 移 位 寄存 器 实现 译 码 
器 是 非常 简单 的 。 移 位 寄存 器 在 用 生成 多 项 式 除 接收 到 的 多 项 式 后 所 有 单元 的 内 容 都 与 零 做 
比较 。 如 果 移 位 寄存 器 有 一 个 存储 单元 不 为 零 ， 也 可 以 检测 到 错误 发 生 了 。 





图 4-7 用 移 位 寄存 器 做 对 g(x) 的 除法 


| 例 4.28 对 g(%)= 碟 十 光 十 基 十 台 十 x 十 1 做 除法 的 移 位 寄存 器 电路 图 如 图 4-8 所 示 。 | 


检测 和 纠 错 的 过 程 如 下 : 接收 到 的 码 字 首 先 储存 在 一 个 缓冲 器 中 ， 等 待 被 sg(xz) 去 除 。 正 
如 我 们 已 经 看 到 的 ， 除 法 可 用 移 位 寄存 器 电路 很 有 效 地 完成 。 然 后 移 位 寄存 器 中 的 余数 与 所 
有 可 能 的 预先 计算 的 ) 伴随 式 相 比 较 。 这 个 伴随 式 集合 对 应 于 可 纠 错误 模式 的 集合 。 如 果 
发 现 一 个 伴随 式 匹配 ， 错 误 就 从 接收 到 的 码 字 中 减 去 。 接 收 到 的 码 字 在 纠 错 后 移 到 接收 单元 
的 下 一 步 做 进一步 处 理 。 这 种 类 型 的 译 码 器 称 为 Meggitt 译 码 器 ， 它 的 流程 图 如 图 4-9 所 示 。 
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图 4-8 对 8()=x 关 十 到 十 区 十 避 十 x 十 1 做 除法 的 移 位 寄存 器 电路 图 


除 以 g(t?) 反馈 





nn 阶 移 位 寄存 器 





图 4-9 Meggitt 译 码 器 的 流程 图 
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4.12 评注 


由 于 存在 下 面 两 个 原因 ， 循 环 码 引 起 了 广泛 的 兴趣 ， 

(1) 多 项 式 环 的 结构 导致 的 码 结构 ， 

(2) 存在 大 量 基 于 多 项 式 的 数学 工具 ， 从 而 可 以 更 好 地 分 析 循 环 码 。 

循环 码 的 概念 首先 由 Prange 在 1957 年 提出 ， Peterson 和 Kasami 进 一 步 发 展 了 在 循环 码 方面 
的 研究 工作 。Bose 和 Raychaudhuri 在 20 世 纪 60 年 代 初 进行 了 循环 码 最 小 距离 方面 的 开创 工作 。 
另 一 类 循环 码 的 子 类 BCH 码 (是 用 Bose、Chaudhuri 和 Hocquenghem 的 名 字 命 名 ) 将 在 下 一 章 
中 详细 学 习 。 读 者 很 快 就 会 发 现 几 乎 所 有 早期 发 现 的 线性 分 组 码 都 可 以 变 成 循环 码 。 在 突 发 
错误 纠 错 方面 的 最 初 研究 是 Abramson 在 1959 年 进行 的 ，Fire 码 也 在 同 -一 年 发 表 。Golay 早 在 
1949 年 就 发 表 了 二 元 和 三 元 Golay 码 。 

循环 码 的 移 位 寄存 器 电路 图 是 Peterson、Chien 和 Meggitt 在 20 世 纪 60 年 代 初 期 著 的 书 中 介 
绍 的 。Kasami、MacWilliams、Mitchell 和 Rudolph 也 在 这 方面 作出 了 重大 贡献 。 


4.13 小 结 


。 多 项 式 就 是 数学 表达 式 用 x) 二 用 十 fx 十 … 十 fx”"， 其 中 符号 x 称 为 不 定 元 ， 系 数 , 有 1，…，, 所 
是 GF(q) 中 的 元 素 。 系 数 f, 称 为 最 高 次 项 的 系数 。 若 f, 二 0， 则 mm 称 为 多 项 式 的 次 数 并 记 
为 deg f(x)。 若 一 个 多 项 式 的 最 高 次 项 的 系数 为 !， 则 该 多 项 式 称 为 首 一 的 。 

。 除 法 算法 是 ， 对 F[x] 中 的 任意 一 对 多 项 式 a(x) 和 4b(x) 了 0， 都 存在 惟一 一 对 商 多 项 式 9g(x) 
和 余数 多 项 式 r(x)， 使 a(x) = q(x)b(x) 二 r(x) 成立， 其 中 deg r(x)<deg b(x)。 余 数 有 时 候 也 
称 为 剩余 ， 记 为 Rw[a(x)]= ro。 

*。 剩余 的 两 个 重要 性 质 为 
(1) Rro[aGCoD 二 GOOD]=Rro[aCo] 十 Rro[bCo] 

(2) Rnro[aCz) PC 一 RrofRrofaCo] + Rrwlb(x)]} 
其 中 aoO、2p(xz) 和 ftx) 为 GF(q) 上 的 多 项 式 。 

。F[x] 中 的 多 项 式 f(x) 如 果 能 写 为 Kx) = a(x)b(x)， 其 中 a(x) 和 b(x) 都 是 FIx] 上 的 元 素 , 且 
deg a(x) 和 deg b(x) 都 小 于 deg fx)， 则 fx) 称 为 可 约 的 。 如 果 fx) 不 是 可 约 的 ， 则 称 f(x) 
为 既 约 的 。 一 个 次 数 至 少 为 1 的 首 一 既 约 多 项 式 称 为 素 多 项 式 。 

。 环 FIx]/flx) 是 一 个 域 的 充分 必要 条 件 为 fx) 是 F[x] 中 的 一 个 素 多 项 式 。 

。R, 上 的 码 C 是 循环 码 的 充分 必要 条 件 为 C 满 足下 列 条 件 : 

(1) a(x), b(X)EC=—>a(x) + b(X)EC, 
(2) a(X)EC Hr(xX)ER, a(x) r(x)EC, 
“下列 步 又 可 用 来 生成 一 个 循环 码 : 
(1) 在 R; 中 取 一 个 多 项 式 f(x)。 
(2) 用 R, 中 的 所 有 可 能 的 多 项 式 与 fx) 相 乘 得 到 一 个 多 项 式 的 集合 。 
(3) 卡 述 所 得 集合 对 应 于 一 个 分 组 长 度 为 的 循环 码 码 字 的 集合 。 

。 设 C 是 R, 中 的 一 个 (n,k) 非 零 循环 码 。 则 
(1) C 中 存在 惟一 的 次 数 最 小 的 首 一 多 项 式 g(x)。 

(2) 循环 码 C 由 生成 多 项 式 g(x) 与 所 有 次 数 不 大 于 k 一 1 的 多 项 式 的 乘积 构成 。 
(3) g(x) 是 x" 一 1 的 一 个 因子 。 
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(4) g(x) 的 次 数 为 上 一 K。 
* 一 个 生成 多 项 式 g(x)=g0+ gix+… 十 gx 次 数 为 "的 循环 码 C 的 生成 矩阵 为 


2&0 如 se gy 9 0 0 四 0 
0 go 8 8 0 0 .0 
G=|0 0 g a 8 0 .0 k=(n-7) 行 
0 0 0 0 0 gg gg& 
OO 
nl 


1 
" 一 个 循环 码 C 的 奇偶 校 验 多 项 式 为 ho 三 和 二 jx 二 人 …… 十 io， 则 C 的 奇偶 校 验 和 矩阵 为 





00 0 .0 
0 hh hl 0 0 .0 
H=|0 0 所 及 | 加 0 … 0 | ltr- 有 丹 rows 行 
0 0 0 0 0 和 向 
《4- -一 一 一 
n 列 


。x" 一 1 二 h(x)g(x)， 其 中 g(x) 是 一 个 生成 多 项 式 ， 而 hx) 是 奇偶 校 验 多 项 式 。 

。 一 个 (n, 有 ) 准 循环 码 是 一 个 线性 分 组 编码 需要 满足 条 件 ， 对 和 n 互 素 的 某 个 m， 如 果 c(x) 是 
一 个 有 效 的 码 字 多 项 式 ， 则 多 项 式 x"c(X) 对 (x" 一 1) 取 模 也 是 一 个 码 字 多 项 式 。 

。 一 个 (n, 有 ) 线 性 码 可 以 成 为 一 个 截 短 循环 码 ， 如 果 它 是 从 (ntm, kt+m) 循 环 码 中 通过 删除 mm 
个 连续 的 位 置 而 得 到 的 。 

。Fire 码 是 GF(q) 上 的 纠 突 发 错误 的 循环 码 ， 它 的 生成 多 项 式 为 g(x)=(x*' 一 1Dp(x)， 其 中 
Po 是 GF(q) 上 的 一 个 素 多 项 式 ， 它 的 次 数 m 不 小 于 :， 而 且 p(x) 不 整除 (x*-' 一 1)。Fire 
码 的 分 组 长 度 是 满足 8(x) 整除 (x" 一 1) 的 最 小 整数 n。 一 个 Fire 码 可 以 纠 所 有 长 度 不 大 于 ft 
的 突 发 错误 。 

。 二 元 Golay 码 的 生成 多 项 式 为 : 
gi(X) 二 (X11 十 X10 十 x 十 大 十 xX4 十 十 1)， 或 
8g2() 二 (Xi 十 苔 十 x 十 6 十 开 十 x 十 1) 

。 三 元 Golay 码 的 生成 多 项 式 为 : 
gi0)=( 十 x 一 十 x 一 1)， 或 
ga(0) 王 06 一 妇 一 妈 一 X 一 1 

“常见 错误 检测 码 之 一 是 循环 元 余 校 验 (CRC) 码 。 对 一 个 比特 组 ，(n,k) CRC 编 码 器 
生成 (n 一 k) 比特 长 的 辆 检查 序列 (FCS ) 。 

。 用 移 位 寄存 器 可 以 很 容易 实现 循环 码 的 编码 和 译 码 。 循 环 码 的 编码 和 译 码 需要 多 项 式 的 
乘法 和 除法 ， 移 位 寄存 器 的 移 位 性 质 很 适合 处 理 这 种 运算 。 


所 有 的 事情 都 应 该 弄 得 尽量 简单 ， 但 不 可 过 分 简单 。 


一 一 爱 因 斯 坦 (1879 一 1955) 


习题 


4.1 下 面 的 哪个 码 是 (a) 循环 码 ，(b) 与 一 个 循环 码 等 价 ? 
(1) GF(2) 上 的 {0000，0110，1100，0011，1001}。 
(2) GF(2) 上 的 {00000，10110，01101，11011}。 
(3) GF(3) 上 的 {00000，10110,01101，11011}。 
(4) GF(3) 上 的 {0000，1122，2211}。 
(5) 长 度 为 x 的 gq 元 重复 码 。 
4.2 为 下 列 定义 的 多 项 式 环 构造 加 法 和 乘法 表 ， 
(1) 定义 在 GF(2) 上 的 F[x]/( 十 1。 
(2) 定义 在 GF(3) 上 的 F[x]/(x? + 1)。 
4.3 列 出 如 下 定义 的 既 约 多 项 式 : 
(1) GF(2) 上 次 数 为 1~5 的 。 
(2) GF(3) 上 次 数 为 1~ 3 的。 
4.4 找 出 所 有 分 组 长 度 为 5 的 二 元 循环 码 ， 求 每 个 码 的 最 小 距离 。 
4.5 设 w 一 1 是 GF(g) 上 的 r 个 不 同 既 约 多 项 式 的 乘积 ，GF(q) 上 存在 多 少 个 分 组 长 度 为 n 的 循环 
码 ? 对 这 些 码 的 最 小 距离 进行 评价 。 
4.6 (1) 在 GF(3) 上 分 解 x* 一 1。 
(2) 存在 多 少 个 长 为 8 的 三 元 循环 码 ? 
(3) 存在 多 少 个 长 为 8 的 四 元 循环 码 ? 
4.7 设 多 项 式 
8(X) =xX! 十 x 十 光 十 Xx 十 说 十 xX 十 1 
为 GF(2) 上 分 组 长 度 为 15 的 一 个 循环 码 的 生成 多 项 式 。 
(1) 求生 成 矩阵 G。 
(2) 求 奇偶 校 验 和 矩阵 五 。 
(3) 这 个 码 能 检测 多 少 个 错误 ? 
(4) 这 个 码 能 纠 多 少 个 错误 ? 
(5) 将 生成 矩阵 写成 系统 型 。 
4.8 考虑 多 项 式 
8g(X) = 十 3x5 十 X44 十 0 十 2xX? 十 2Xx 十 1 
(1) 这 是 一 个 GF(4) 上 分 组 长 度 为 15 的 一 个 循环 码 的 有 效 生成 多 项 式 吗 ? 
(2) 求 奇 偶 校 验 矩 阵 五 。 
(3) 这 个 码 的 最 小 距离 是 多 少 ? 
(4) 这 个 码 的 码 率 是 多 少 ? 
(5) 接收 到 的 字 y(9= 闻 十 季 +32 + 和 十 3x 二 1 是 个 正确 码 字 吗 ? 
4.9 RR, 中 形 如 xi 十 xi+! 的 错误 向 量 称 为 双 连 错误 。 证 明 由 生成 多 项 式 g.(x) = (x 一 了 gn(*) 生成 的 
码 能 纠 双 连 错 ， 其 中 g(x) 是 二 元 汉 明 码 的 生成 多 项 式 。 
4.10 确定 二 元 (1023，1010) 循环 码 的 突 发 错误 纠 错 长 度 ， 此 循环 码 对 应 的 生成 多 项 式 为 
g(xX) = Xt+ XX + x +++ 二 1 
4.11 证 明 Fire 码 的 分 组 长 度 是 4 = LCM(211, g”" 一 1)。 
4.12 证 明 g(x) = (x1 + 1)(xs+ x+ 1) 是 一 个 Fire 码 的 正确 生成 多 项 式 。 此 编码 的 突 发 错误 纠 错 
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长 度 是 多 少 ? 
4.13 证 其 一 个 (n 一 有 ) 次 生成 多 项 式 对 应 的 截 短 二 元 循环 码 可 以 检测 所 有 长 度 为 (n 一 D+1 的 突 发 
模式 的 1 一 2““-?0* 的 部 分 。 
4.14 对 习题 4.8 中 生成 的 码 设计 移 位 寄存 器 编码 器 和 Meggitt 译 码 器 。 
4.15 生成 多 项 式 为 8()= (x”+ 1)(x” + 站 十 1) 的 码 在 GSM 中 作 检 错 和 纠 错 标准 。 
(1) 这 个 码 能 纠 多 少 个 随机 错误 ? 
(2) 这 个 码 能 纠 多 少 个 突 发 错误 ? 


上 机 习题 


4.16 写 一 个 程序 来 计算 GF(q) 上 循环 码 的 最 小 距离 ， 输 入 为 码 的 生成 多 项 式 (或 生成 矩阵 ) 。 

4.17 写 一 个 程序 对 〈35, 27) Fire 码 进行 编码 和 译 码 。 它 应 该 自动 纠正 长 度 不 大 于 3 的 突 发 错 
误 。 如 果 一 个 接收 到 的 码 字 发 生 了 长 度 为 4 的 突 发 错误 ， 你 试图 对 它 进 行 译 码 会 怎样 呢 ? 

4.18 编写 一 个 程序 用 于 搜索 GF(5) 上 的 循环 汉 明 码 。 在 此 Galois 域 上 是 否 有 长 度 为 n = 156 的 
循环 汉 明 码 ? 

4.19 IEEE 802.16 宽 带 无 线 接 入 组 (broadband wireless access group) 规定 了 CRC 的 多 项 式 : 


Q(X) = 32 +X2 ATX23+X22 +XI6+X2T+XI+XIOTX8+X7+XS+TX4TX2+X+1 


(1) 此 编码 可 以 检测 的 错误 模式 是 什么 ? 
Q2) 此 编码 的 突 发 错误 纠 错 长 度 是 多 少 ? 


第 5 章 BCH 码 


尽管 这 看 上 去 是 个 悖 论 ， 但 所 有 精确 科学 都 受 近 似 思 想 支 配 。 





Bertrand Russell (1872—1970) 


5.1 BCH 码 简介 


Bose-Chaudhuri Hocquenghem (BCH) 码 是 人 们 所 知道 的 线性 循环 分 组 码 中 功能 最 强大 
的 一 种 。BCH 码 因 其 对 多 个 错误 的 纠 错 能 力 和 简易 的 编码 和 译 码 而 著名 。 到 目前 为 止 ， 我 们 
所 做 的 只 是 构造 一 个 码 ， 然 后 计算 它 的 最 小 距离 ， 从 而 估计 出 它 的 纠 错 能 力 。 在 这 类 码 中 ， 
我 们 将 采用 另 一 种 方法 一 一 先 说 明 我 们 希望 码 能 纠 随机 错误 的 个 数 ， 然 后 构造 这 样 的 码 的 生 
成 多 项 式 。 正 如 上 面 提 到 的 ，BCH 码 是 循环 码 的 一 个 子 类 ， 因 此 对 任意 循环 码 的 译 码 方法 也 
适用 于 BCH 码 。 但 是 ， 已 经 知道 有 更 有 效 的 BCH 码 译 码 过 程 ， 本 章 也 将 对 此 进行 讨论 。 

在 接 下 来 的 几 节 中 ， 我 们 先 建立 必要 的 数学 工具 ， 然 后 介绍 BCH 码 生成 多 项 式 的 构造 方 
法 。 然 后 讨论 对 这 类 码 的 高 效 译 码 技术 。BCH 码 的 一 个 重要 子 类 是 Reed-Solomon 码 ， 它 也 
将 在 本 章 进 行 讨论 。 


5.2 基本 引 理 


定义 5.1 车 GHF(4g) 上 的 所 有 元 素 除 零 外 部 可 表示 为 某 元 素 Q 的 圳 ， 则 称 Q 为 GF(g) 上 的 本 
原 元 (Primitive Element)。 





例 5.1 考虑 GF(5)。 因 为 9= 5 是 个 素数 ， 模 算数 可 以 进行 。 考 虑 该 域 上 的 元 素 2， 
2°=1 (mod S)= 1 
2'=2 (mod 5)=2 
2:=4 (mod 5)=4 
23=8 (mod 5)=3 
因此 ， 所 有 GF(5) 上 的 非 零 元 素 ， 即 {1，2，3，4} 都 可 以 表示 为 2 的 短 ， 故 2 是 GF(5) 上 的 本 
原 元 。 
下 面 考虑 元 素 3。 
3°=1 (mod 5)=1 
3'=3 (mod 5)=3 
3:*=9 (mod 5)=4 
3 一 27 (mod 5)=2 
同样 ， 所 有 GF(5) 上 的 非 零 元 素 ， 即 {1，2，3，4} 都 可 以 表示 为 3 的 害 ， 故 3 是 GEF(5) 上 的 
本 原 元 。 
但 是 可 以 检验 其 他 非 零 元 素 {1，4} 都 不 是 本 原 元 。 
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我 们 在 上 例 中 看 到 一 个 域 中 可 以 有 多 于 一 个 的 本 原 元 。 但 是 不 是 可 以 保证 至 少 有 一 个 本 
原 元 呢 ? 答案 是 肯定 的 ! 每 个 其 罗 瓦 域 的 非 零 元 素 都 构成 一 个 循环 群 ， 因 此 一 个 伽 罗 瓦 域 将 
包括 一 个 阶 数 为 9 一 1 的 元 素 ， 这 个 元 素 就 是 本 原 元 。 本 原 元 在 构造 域 时 很 有 用 。 一 旦 我 们 有 
了 一 个 本 原 元 ， 我 们 可 以 通过 计算 该 本 原 元 的 宕 来 很 容易 地 找到 所 有 其 他 元 素 。 

定义 5.2 GF(g) 上 的 一 个 本 原 多 项 式 (Primitive Polynomial) p(x) 具有 下 述 性 质 : 在 模 
p(x) 运算 下 的 扩 域 上 ，x 所 表示 的 元 素 是 本 原 元 。 


在 任何 伽 罗 殉 域 上 任意 次 数 的 本 原 多 项 式 都 存在 。 一 个 本 原 多 项 式 可 用 来 构造 扩 域 。 





例 5.2 我 们 可 以 用 本 原 多 项 式 p(Co)= 姑 +x+1 来 构造 CF(8)。 设 GF(8) 上 的 本 原 元 为 a=z。 则 
我 们 可 以 通过 ao 的 寡 模 2(o) 得 到 GF(8) 上 的 所 有 元 素 ， 如 表 5-1 所 示 。 


表 5-1 GF(8) 中 的 元 素 
a 的 等 GF(8) 上 的 元 素 


a 


RR QS, 


RQ, SS 





定理 5.1 用 pi, P,, .PB,_1 记 GF(qg) 上 的 非 索 域 元 素 。 则 
x 1=(x-PB)(x-p)... (x- 5 (5-1) 


证 明 :; GF(qg) 上 非 堆 元 素 的 集合 在 来 法 运算 下 构成 一 个 有 限 群 。 设 BP 为 该 域 上 的 任意 非 替 
元 素 ， 则 它 可 以 表示 为 本 原 元 Qa 的 署 。 设 对 某 个 整数 :有 = 二 (0)"。 则 


B=((0")" = (0 )=(1)"=1 
这 是 因为 
(ay? -=1 
因此 


PB 是 x !' 一 1 的 根 。 
这 对 任意 非 零 元 素 B 孝 成立。 因此 


x1 1=(x- Bx- By) ... (x-— By-1) 


例 5.3 考虑 域 GF(5)。 该 域 上 的 非 零 元 素 为 {1，2，3，4}。 故 我 们 可 写 为 
XC—1=(x—1)(x—2)(x—3)(x—4) 


5.3 极 小 多 项 式 
在 第 4 章 中 我 们 看 到 为 了 找到 分 组 长 度 为 的 循环 码 的 生成 多 项 式 , 我 们 必须 首先 分 解 x 一 1。 


116 第 二 病 分 ” 锚 误 埠 制 编码 【信道 编码 ) 


因此 x 一 1 可 以 写 为 它 的 素 因 子 p 的 乘积 
2 -1= A flY A hh(Y (5-2) 


这 些 因 子 的 任意 组 合 的 冬 积 是 一 个 生成 多 项 式 g(x)。 如 果 xr 一 1 的 素 因 子 都 不 同 , 则 有 (2 一 2) 
个 非 平 几 的 分 组 长 度 为 的 循环 码 。 有 两 个 需要 忽视 的 平凡 情况 ， 它 们 是 g(x)=1 和 g(x)=x 一 1。 
注意 所 有 (2? 一 2) 个 可 能 的 循环 码 在 最 小 距离 方面 都 是 好 码 。 我 们 现在 逐渐 开发 一 些 找到 好 码 
的 策略 ， 即 可 期 望 的 最 小 距离 。 

在 5.2 节 中 我 们 学 习 了 怎样 从 一 个 子 域 构造 扩 域 。 这 一 节 我 们 将 学 习 在 扩 域 中 有 根 的 素 多 
项 式 (在 某 些 域 中 )。 构 造 g(x) 的 方法 如 下 : 用 在 扩 域 中 那些 期 望 的 根 我 们 将 找到 在 其 子 域 上 
的 本 原 多 项 式 ， 将 它们 乘 在 一 起 就 得 到 期 望 的 s(9。 


定义 5.3 GF(g) 上 一 个 码 的 形 如 4 二 q”" 一 1 的 分 组 长 度 n 称 为 本 原 分 组 长 度 (Primitive 
Block Length) 。GF(g) 上 一 个 有 本 原 分 组 长 度 的 循环 码 称 为 本 原 循 环 码 。 
域 GF(q”") 是 GF(q) 的 扩 域 。 设 本 原 分 组 长 度 为 n ==g" 一 1。 考 虑 域 GF(g) 上 的 分 解 
Cn A A (5-3) 
这 个 分 解 在 扩 域 GF(g”") 上 也 成 立 ， 因 为 子 域 上 的 加 法 表 和 乘法 表 是 扩 域 上 加 法 和 乘法 表 的 一 


部 分 。 我 们 还 知道 g(x) 整除 x* 一 1]， 即 x”-! 一 1， 表 g(x) 必定 为 这 些 Fz) 中 某 些 多 项 式 的 乘积 。 
另外 GF(g") 上 的 每 个 非 零 元 素 都 是 vw ' 一 1 的 根 ， 因 此 可 以 在 扩 域 GF(g”") 上 分 和 解 x*”"-' 一 1 得 到 


x™ -1=Il -A (5-4) 


J 
其 中 Bi 取 遍 GF(q”") 上 的 所 有 非 零 元 素 。 这 表明 每 个 多 项 式 fi(x) 在 GF(q”") 上 都 可 以 表示 为 一 些 
线性 项 的 乘积 ， 而 且 每 一 个 B 恰 好 是 某 一 个 fo 的 根 。 这 个 fi(x) 称 为 B 的 极 小 多 项 式 (Minimal 


Polynomial ) 。 


定义 5.4 系数 定义 在 基 域 GF(4) 上 且 在 扩 域 GF(g") 上 有 根 有 的 最 小 次 数 多 项 式 称 为 有 的 极 
小 多 项 式 (Minimal Polynomial ) 。 





例 5.4 考虑 子 域 GF(C2) 和 它 的 扩 域 GF(8)。 这 里 9=2， m= 二 3。 对 x ! 一 1 分 解 (在 子 域 / 扩 域 ) 


得 到 


x =x 1=Gx- D+x+D) G++1) 
下 面 考虑 扩 域 GF(8) 上 的 元 素 ， 这 些 元 素 可 以 表示 为 0，1，z，z 十 1， 寻 ， 刀 十 1，z2 十 z， 守 十 
z+1 (根据 第 4 章 例 4.10)。 因 此 我 们 可 以 写 为 
i 
= GC- Dr-adr- ea- Dre- Dre-z-z-l) 
可 以 看 到 在 GF(8) 上 有 


(CP+x+l)=-ax-a)r- 2), 有 
+R+D)=G-z- Dae- Dr-2-r-d) 
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乘法 和 加 法 都 是 在 CGF(8) 上 进行 的 。 有 趣 的 是 用 一 一 访 尽 代数 方法 就 可 以 发 现 现 极 小 多 项 式 的 
系数 都 只 属于 GF(2)。 我 们 现在 可 以 依 此 形成 表 5-2。 


表 5-2 GF(8) 上 的 元 素 用 本 原 元 ac 的 罕 表 示 


最 小 多 项 式 fi(x) GF(8) 中 对 应 的 元 素 B， 元 素 用 ac 的 守 表 示 
(x—1) 1 ao 

(x 十 XX 十 1) z， Zz 和 z?+z a', oo, a 

( 妇 十 大 十 1) xz+1，z 二 1 和 z+z+] o，ac，o5 (= al2) 





可 广 意 到 对 应 到 同一 个 最 小 多 项 式 的 那些 元 素 (用 本 原 元 a 的 军 表 示 )。 我 们 观察 到 a'? = 
a … oo=1. o， 可 以 看 到 对 应 某 一 极 小 多 项 式 的 元 素 的 一 种 模式 。 事 实 上 ， 作 为 极 小 多 项 式 
根 的 那些 元 素 在 扩 域 中 具有 形式 68"”， 其 中 有 是 扩 域 上 的 一 个 元 素 。 在 上 述 例子 中 ， 极 小 多 项 
式 fp(X)= 允 十 x 十 1 的 根 为 qt 、o 和 as， 而 AD = 妆 二 刀 +1 的 根 为 吧 、0s 和 al2。 





定义 5.5 车 GF(g") 有 两 个 元 素 在 GF(q) 上 具有 同一 个 极 小 多 项 式 ， 则 称 这 两 个 元 素 在 GF(q) 
上 共 轧 (Conjugate)。 





例 5.5 元 素 {c ，co，0} 在 GF(2) 上 共 轿 ， 它 们 具有 同一 极 小 多 项 式 f(x) = 十 x 十 1。 

正如 我 们 已 经 看 到 的 ,一 个 元 素 在 扩 域 上 可 能 有 多 于 一 个 的 共 罗 。 两 个 元 素 的 共 圈 关系 
取决 于 基础 域 。 例 如 扩 域 GF(16) 可 通过 GF(2) 或 GF(4) 进行 构造 。 两 个 在 GF(2) 上 共 轿 的 元 
素 可 能 在 GF(4) 上 不 共 斩 。 

如 果 ftx) 是 B 的 极 小 多 项 式 ， 那 么 它 也 是 所 有 集合 {B, pr", Bp”,…, Pr” '} 中 元 素 的 极 小 多 项 
式 ， 其 中 r 是 满足 8”= 6 的 最 小 整数 。 集 合 {6, pr, B”. …, pr '} 称 为 共 罗 集合 。 共 罗 d 集 合 中 的 
元 素 为 fx) 的 全 部 根 。 因 此 有 的 极 小 多 项 式 可 以 写 为 


f(W=(x- Px- Br)(x- pr)-…(x— pr) (5-5) 





例 5.6 考虑 GF(256) 为 GF(2) 的 一 个 扩 域 。 设 0 为 GF(256) 的 本 原 元 。 则 共 恩 集合 为 


{al o2， a4 Qs, QS, 0x32， C64， Cl28} 
注意 a256= o55 .al= wa ， 故 共 斩 集 合 到 w!23 就 结束 了 。a 的 极 小 多 项 式 为 
f= x- ox I ox ax ax ox ax -al28) 


等 式 右边 在 展开 后 将 只 含 GF(2) 上 的 系数 。 
类 似 地 ，c 的 极 小 多 项 式 为 


f= Co oo- ax- ox ao)(r ox ox -aa29) 





定义 5.6 定义 在 GF(g) 上 的 分 组 长 度 为 q" 一 1 的 BCH 码 称 为 本 元 BCH 码 。 


建立 了 必要 的 数学 工具 后 ， 我 们 现在 将 开始 学 习 BCH 码 。 我 们 将 开发 一 种 方法 ， 用 其 构 
造 能 纠 预先 设 定 的 ! 个 随机 错误 的 BCH 码 的 生成 多 项 式 。 
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5.4 极 小 多 项 式 作为 生成 多 项 式 
我 们 知道 g(x) 是 "一 1 的 一 个 因子 。 因 此 循环 码 的 生成 多 项 式 可 以 写成 如 下 形式 
&0 = LCM [fi(%, f(y, fl) (5-6) 


其 中 f(x)， Co， 0 为 g(x) 的 根 的 极 小 多 项 式 ， 每 一 个 极 小 多 项 式 对 应 于 g(x) 在 扩 域 
上 的 一 个 根 。 我 们 将 用 这 种 方法 根据 生成 多 项 式 期 望 的 根来 设计 好 码 。 
设 c(x) 为 一 个 码 字 多 项 式 ，e(z) 为 错误 多 项 式 。 则 接收 到 的 多 项 式 为 
v(X) = c(%) 十 e( 计 (5-7) 


其 中 多 项 式 的 系数 都 在 GF(q) 上 。 现 在 考虑 扩 域 GF(q") 。 设 加, 7Y,,…, 为 8(x) 在 GF(g 上 的 
根 ， 即 g(y) 二 0，i=1,…, p。 因 为 对 某 个 多 项 式 a(x)， 有 c(x) =a(x)e(x)， 我 们 又 得 到 c(y,)=0， 
i 二 1,…,p。 故 


= c(h), i= Lp (5-8) 
对 分 组 长 度 n， 我 们 有 


n—1 ， 
v (yD ey! i=1,.…,8 (5-9) 
1=0 


因此 ， 我 们 得 到 包含 p 个 方程 的 方程 组 ， 它 们 只 含有 错误 模式 的 分 量 。 如 果 能 求解 该 方程 组 得 
到 e， 便 可 以 精确 地 确定 错误 模式 。 能 否 解 此 方程 组 决定 于 8( 的 根 的 个 数 p 的 值 。 为 了 求解 
错误 模式 ， 我 们 必须 小 心 选取 这 p 个 方程 。 如 果 我 们 要 设计 能 纠 1 个 错误 的 循环 码 ， 我 们 的 选 
择 应 该 是 方程 组 对 至 多 ! 个 非 零 e 的 情况 可 以 求解 。 

我 们 定义 伴随 式 S;=e(Y)，i= 1,…,p。 我 们 希望 选取 y,, y,，…, 使 得 由 51, S,，…, 3 可 以 
求解 ! 个 错误 。 若 o 是 个 本 原 元 ， 则 能 纠 ! 个 错误 的 7 的 集合 为 {fa , 9, 0，…, oa。 因此 ， 我 们 
有 一 种 确定 能 纠 ! 个 错误 的 BCH 码 的 生成 多 项 式 的 简单 方法 。 

确定 可 纠 ! 个 错误 的 BCH 码 的 生成 多 项 式 的 步骤 ; 

对 一 个 本 原 分 组 长 度 n 二 gq" 一 1; 

(1) 选取 一 个 次 数 为 m 的 素 多 项 式 并 构造 GF(q”")。 

(2) 求 Q，i=1,…,p 的 极 小 多 项 式 f:(x)。 

(3) 可 纠 ! 个 错误 的 码 的 生成 多 项 式 为 


&(%) = LCM [fi(2), f2(2, , f 2(W)] (5-10) 
用 这 种 方法 设计 的 码 至 少 能 纠 ! 个 错误 。 在 很 多 情况 下 ， 这 些 码 能 纠 多 于 ! 个 错误 。 因 此 ， 
d=21+1 (5-11) 


称 为 码 的 设计 距离 ， 其 最 小 距离 为 4 >>21+ 1。 它 的 生成 多 项 式 次 数 等 于 n 一 k ( 见 定理 4.4)。 应 
该 注意 ,一 旦 确定 了 n 和 t+， 我 们 便 可 以 确定 BCH 码 的 生成 多 项 式 。 信 息 长 度 k 是 由 g(x) 的 次 数 
确定 的 。 从 直觉 上 我 们 知道 ， 当 分 组 长 度 确 定 后 ，i 的 值 越 大 ， 就 迫使 信息 长 度 k 越 小 (因为 
要 纠正 更 多 的 错误 需要 更 高 的 元 余 度 )。 在 下 一 节 中 我 们 将 介绍 几 个 BCH 码 的 具体 实例 。 


5.5 一 些 BCH 码 实例 
下 面 的 例子 展示 了 如 何 由 GF(2) 构造 扩 域 GF(16)， 所 得 的 极 小 多 项 式 将 在 接 下 来 的 例子 
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中 用 到 。 


例 5.7 考虑 GF(2) 上 的 本 原 多 项 式 P(z)= 盖 +z+1， 我 们 将 以 此 来 构造 扩 域 GF(16)。 设 c=z 
为 本 原 元 。GF(16) 上 以 ac 的 医 表 示 形 式 的 元 素 及 它们 对 应 的 极 小 多 项 式 在 表 5-3 中 列 出 。 


表 5-3 GF(16) 上 的 元 素 和 对 应 的 极 小 多 项 式 


ca 的 寡 GF(16) 的 元 素 极 小 多 项 式 

ol Z Xx:+x+1 

oa? 2 3 十 X 十 ] 

or a X 十 XO 十 名 十 X 十 1 
oe z+l1 Xt 二 x 十 1 

os +z 好 十 X 十 1 

os 53 十 2 好 十 妇 十 X2 十 X 十 了 
a 二 Zz 二 1 嫁 十 好 十 1 

a: z+l Xt 十 XxX 十 1 

oa 23 十 了 妈 十 好 十 既 十 X 十 1 
CQ z+z+1 和 2 十 X 十 1 

oa" zz 二 z+z x 十 台 填 1 

or Z2 十 到 十 z 十 上 十 大 十 台 十 xX 十 1 
CH z+z+t+! Xt+x: 十 1 

[4M z+l 妈 十 大 十 1 

os 1 x 二 1 


例 5.8 我 们 希望 确定 纠 单一 错误 的 BCH 码 的 生成 多 项 式 ， 即 1=1 且 n=15。 由 式 (5-10) 
可 知 ， 一 个 BCH 码 的 生成 多 项 式 由 LCM[fA(x), f(x), …, f(x)] 给 出 。 我 们 将 利用 表 5-3 来 获得 极 
小 多 项 式 fi(x) 和 f(x)。 于 是 纠 单一 错误 的 BCH 码 的 生成 多 项 式 为 

8(7) = LCM [fi00), pOo) 
= LCM [Gt + x+ 1), (x +x+ 1)] 


=x+x+l1 


因为 deg g(x)=n 一 k， 可 得 n 一 k= 4 ， 从 而 得 到 k= 11。 于 是 我 们 得 到 纠 单一 错误 的 BCH 
(15, 11) 码 的 生成 多 项 式 。 该 码 的 设计 距离 为 4=21+1=3。 可 以 计算 该 码 的 实际 最 小 距离 4 
也 是 3。 因 此 ， 在 此 情况 下 设计 距离 等 于 最 小 距离 。 
下 面 我 们 希望 确定 纠 两 个 错误 的 BCH 码 的 生成 多 项 式 ， 即 上 = 1 有 n= 15。 该 BCH 码 的 生成 
多 项 式 为 
8(x) = LCM [00, f(x), f(x), fal7)] 
= LCM [x + x+1),x tx+1), OOd4+1+ 了 +xX+lCd4+x+DH] 
= (Xt+X+ DG +XA + XA +X+ 1) 


=+X tA+X+l1 


因为 deg g(x)=n 一 k， 可 得 4 一 k=8， 从 而 得 到 k=7。 于 是 我 们 得 到 纠 两 个 错误 的 BCH 
(15,7) 码 的 生成 多 项 式 。 该 码 的 设计 距离 为 4=21+1=5。 可 以 计算 该 码 的 最 小 距离 4 也 是 5。 
因此 ， 在 此 情况 下 设计 距离 等 于 最 小 距离 。 

下 面 我 们 希望 确定 纠 三 个 错误 的 二 元 BCH 码 的 生成 多 项 式 。 该 BCH 码 的 生成 多 项 式 为 
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8O0 = LCM [fi(7), fo00), fa(%), fal7), f(x), 0)] 


= +x+ 1 +t ++tx+ (r+x+t 1) 


= x rx +x + ++xX+1l 


“在 这 种 情况 下 deg g(x)==n 一 k= 10， 从 而 得 到 k==5。 于 是 我 们 得 到 纠 三 个 错误 的 BCH (15, 5) 
码 的 生成 多 项 式 。 该 码 的 设计 距离 为 4=21+1=7。 可 以 计算 该 码 的 最 小 距离 4 也 是 7。 因 此 ， 
在 此 情况 下 设计 距离 等 于 最 小 距离 。 

下 面 我 们 希望 对 := 4 的 情况 确定 二 元 BCH 码 的 生成 多 项 式 。 该 BCH 码 的 生成 多 项 式 为 
8{x) = LCM [fi(0), .Po0 fC2), falx), f5(7), 大 co, 万 Co, flo)] 
= +txt Dre tr+tx+ D+rt+ +n +1) 


=xlt+ x 3+ x+ xl+t x Or +r tA ++x+1 


在 这 种 情况 下 deg g(x)=n 一 k=14， 从 而 得 到 k= 1。 可 以 看 出 这 是 一 个 简单 的 重复 码 。 该 码 的 
设计 距离 为 4=2t+ 1=9， 然 而 ， 这 个 码 的 最 小 距离 4 为 15。 因 此 ， 在 此 情况 下 设计 距离 不 等 
于 最 小 距离 ， 码 设计 得 太 过 度 了 。 这 个 码 实际 可 纠 (d 一 1)/2=7 个 随机 错误 ! 

如 果 对 1=5、6 和 7 的 情况 重复 上 述 练习 ， 我 们 会 得 到 同样 的 生成 多 项 式 (重复 码 )。 注 意 
GF(16) 中 共有 15 个 非 零 域 元 素 ， 因 此 只 有 15 个 对 应 于 这 些 域 元 素 的 极 小 多 项 式 ， 故 我 们 不 能 
考虑 1=7 以 外 的 情况 (因为 对 := 83， 我 们 需要 fie(x)， 它 还 没有 定义 呢 )。 因 此 要 想得到 可 以 纠 
更 多 数量 错误 的 BCH 码 ， 我 们 必须 使 用 有 更 多 元 素 的 扩 域 ! 


例 5.9 ”我 们 可 以 用 GF(4) 上 的 本 原 多 项 式 p(z)=z +z+1 构 造 GF(4) 的 扩 域 GF(16)。 设 
GF(4) 上 的 元 素 由 集合 {0，1，2，3} 中 的 四 元 符号 构成 。 为 了 方便 查阅 ，GF(4) 上 的 加 法 表 和 
乘法 表 如 表 5-4 所 示 。 


表 5-4 GF(4) 上 的 加 法 表 和 委 法 表 





表 5-5 列 出 了 GF(16) 上 以 a 的 宕 的 形式 表示 的 元 素 及 对 应 的 极 小 多 项 式 。 
表 5-5 GF(16) 上 的 元 素 和 对 应 的 极 小 多 项 式 


0 
ac 的 释 GF(16) 的 元 素 极 小 多 项 式 

Qt Z xX 十 X 十 2 

oe z+2 多 十 X 十 3 

OP 3z 十 2 二 3x 二 1 

at4 z+1 +x+2 

os 2 X 十 2 

as 2z x+2x+1 

oa? 2z+3 +2x+2 

os z+3 说 十 导 十 了 
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( 续 ) 
a 的 寡 GF(16) 的 元 素 极 小 多 项 式 
Oo 2z 十 2 x+2x+1 
aa 3 ZX 十 3 
on 3¢ +3x+3 
al? 3z+1 了 2 十 3x 十 1 
aa 2z+1 对 十 2x 十 2 
a 3=+3 + 3x+3 
al5 1 十 1 
对 f=1， 


8(x) = LCM [fi0), fo()] 
= LCM [(x* + x+ 2),(x*+x+3)] 


=xt+x+l1 


因为 deg g(x)=n 一 k， 可 得 n 一 k=4， 从 而 得 到 k=11。 于 是 我 们 得 到 GF(4) 上 纠 一 个 错误 的 
BCH (15, 11) 码 的 生成 多 项 式 。 它 把 11 个 四 元 信息 符号 编码 成 15 个 四 元 符号 。 注 意 一 个 四 元 
符号 相当 于 2 比特 ， 因 此 ， 事 实 上 该 (15, 11) BCH 码 把 22 个 输入 比特 变 成 了 编码 后 的 30 个 比 
特 (对 于 长 度 为 30 的 二 元 序列 ， 这 个 码 可 用 于 纠 长 度 为 2 的 突 发 性 错误 )。 读 码 的 设计 距离 为 
d=21 十 1=3。 可 以 计算 该 码 的 最 小 距离 4 也 是 3。 因 此 ， 在 此 情况 下 设计 距离 等 于 最 小 距离 。 
对 t==2， 
g(x) = LCM [fi(), £00), B07), PCD] 
=LCM [(x +x+2), (x+xt3), (r+3x+ 1), (C+x+2)] 
=(+x+2N( x +x+ (C+ 3x+ 1) 
=Xx+ XTX D+ D+1 
这 是 一 个 GF(4) 上 纠 两 个 错误 的 BCH (15,9) 码 的 生成 多 项 式 。 
对 1 二 3， 
8(7) = LCM [f1(2), fo(7¥), FO), f(x), f5(7), fel)] 
=LCM[( 妇 +x+2) (T+x+t3), (x+ 3xr+1), (xX+x+ 2), x+ 2), (0+2x+ 1)] 
=(C+x+2( x + xX+ N+ r+ D+ D+ 2x+ 1) 
= + X43 A++X+2 
这 是 一 个 GF(4) 上 纠 三 个 错误 的 BCH (15,6) 码 的 生成 多 项 式 。 
类 似 地 ， 对 t=4， 
gx) = x + xl0+ 2x8+3x7 + I FE + XO+X+3 
这 是 一 个 GF(4) 上 纠 四 个 错误 的 BCH (15,4) 码 的 生成 多 项 式 。 
类 似 地 ， 对 1= 5， 
g(x) = x+ 2x!! +3xrl0+2x9+2x8+x +3x+3x4+3z3+ 了 +2 
这 是 一 个 GF(4) 上 纠 五 个 错误 的 BCH (15,3) 码 的 生成 多 项 式 。 
类 似 地 ， 对 1=6， 
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_ _14 13 12 11 
BX) =Xx +X +X +X + XT 1 


这 是 一 个 GF(4) 上 纠 六 个 错误 的 BCH (15, 1) 码 的 生成 多 项 式 。 很 显然 ， 这 是 一 个 简单 重复 
码 ， 最 多 可 以 纠 7 个 错误 。 

表 5-6 列 出 了 码 长 直到 25 一 1 的 二 元 BCH 码 的 生成 多 项 式 。 假 设 我 们 想 构 造 BCH (15，7) 
码 的 生成 多 项 式 ， 从 表 中 查 到 (111010001) 为 该 生成 多 项 式 的 系数 ， 于 是 


gx) = xXx + x + +1 


表 5-6 码 长 达 2 一 1 的 二 元 BCH 码 的 生成 多 项 式 


n k 1 生成 多 项 式 的 系数 
7 4 1 10ll 
15 11 ] 10 011 
15 7 2 111 010 001 
15 5 3 10 100 110 111 
31 26 ] 100 101 
31 21 2 11 101 101 001 
31 16 3 1000 111 110 101 111 
31 11 5 101 100 010 011 011 010 101 
31 6 7 11 001 011 011 110 101 000 100 111 


5.6 BCH 码 的 译 码 


到 现在 ， 我 们 学 习 了 在 给 定 要 纠 的 随机 错误 数 后 如 何 构造 一 个 BCH 码 的 生成 多 项 式 。 根 
据 生 成 多 项 式 ， 可 以 构造 出 快速 的 硬件 编码 器 。 我 们 现在 把 注意 力 转移 到 BCH 码 的 译 码 上 。 
由 于 BCH 码 是 循环 码 的 一 个 子 类 ， 任 何 对 循环 码 的 标准 译 码 过 程 都 适用 于 BCH 码 。 但 人 们 已 
经 设计 出 专门 针对 BCH 码 的 更 高 效 的 算法 。 我 们 来 讨论 Gorenstein-Zierler 译 码 算法 ， 它 是 首 
先 由 Peterson 提 出 的 二 元 译 码 算法 的 推广 。 

我 们 这 里 讨论 可 纠 ! 个 错误 的 BCH 了 码 的 译 码 算法 。 假 设 BCH 码 是 根据 一 个 域 元 素 a 来 构造 
的 。 考 虑 错误 多 项 式 
n-2 


e(N= ext en ox t+ CX+ eo (5-12) 


其 中 最 多 有 1! 个 系数 为 非 零 。 假 设 实际 发 生 了 v 个 错误 ， 其 中 0<v<1。 设 错误 发 生 在 位 置 i1， 
PP, …, 计 。 则 错误 多 项 式 可 以 写 为 


e (从 = X11 二 6 xX 十 十 6 和 (5-13) 


其 中 ei 为 第 k 个 错误 的 大 小 。 注 意 我 们 在 考虑 一 般 情况 。 对 二 元 码 ，ei, = 1。 对 于 纠 错 问题 ， 
我 们 必须 知道 两 件 事情 : 

(1) 错误 在 哪里 发 生 了 ， 即 错误 的 位 置 ， 

(2) 错误 程度 。 

因此 ， 未 知 量 为 二 …, i 和 ei, ej;,,…, ei;,， 它 们 分 别 表明 错误 发 生 的 位 置 和 程度 。 伴 随 式 
可 以 通过 对 接收 到 的 关于 a 的 多 项 式 计算 得 到 : 
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S$ =v(0)= cc(0) + e(0) = el(0) 
二 6 Xi 十 6 和 十 … 十 ei x (S$-14) 
下 面 定 义 错误 程度 Y=e; ,== 1, 2,…, vy 和 错误 位 置 X= Qa*,， Kk 二 1, 2,…, vy， 其 中 记 为 第 上 
个 错误 的 位 置 ，X 是 与 这 个 位 置 相 关 的 域 元 素 。 现 在 伴随 式 可 以 写 为 
$= VE+DD+- + (5-15) 
我 们 可 以 用 在 定义 g(x) 时 用 到 的 那些 a 的 备 对 接收 到 的 多 项 式 进行 评 佑 。 对 j= 1, 2, …, 21， 我 
们 定义 伴随 式 


$=v(07) = c(0) + e(01) = el (5-16) 


于 是 我 们 得 到 下 面 的 2t 个 联 立 方程 组 ， 它 有 +r 个 错误 位 置 未 知 量 X, X,,…, X, 和 vr 个 错误 程度 未 
知 量 了 ， y,, 0 了 ,， 


SI 一 蕊 丰 + 防卫 二 才思 
= 有如 + 态 交 +…+ 卫 2X 


Si= TX + PX + + T,X (5-17) 


下 面 定义 错误 定位 多 项 式 
A = Ayx + A x + +Ax+l (5-18) 
这 个 多 项 式 的 根 是 错误 位 置 的 逆 X',， ==1,2,…,v， 即 
A(W = (1 — XxX) (1 — xX) … (1 — xX,) (5-19) 


所 以 ， 如 果 我 们 知道 错误 定位 多 项 式 A(x) 的 系数 ， 便 可 以 求 得 错误 位 置 X,, X,, …, XX,。 经 过 一 
些 代 数 变换 我 们 得 到 


ALSj+ v-1+ A2dj+ o- 2 十 … 十 4 一 -号 + 0 一 2 (5-20) 


但 这 仅仅 是 一 些 将 伴随 式 和 A(x) 的 系数 联系 起 来 的 线性 方程 而 已 。 这 些 等 式 可 以 写 为 如 下 的 
和 矩阵 形式 : 


5, S$, i $1 S, A 一 
5, 5 机 S, Sl A 一 Sa (9-2 1) 
Ss, Sl “ S$, YY 一 2 $2 A -5,, 


错误 定位 多 项 式 的 系数 值 可 以 通过 对 伴随 式 矩 阵 求 逆 而 得 ， 这 只 有 当 该 矩阵 为 非 奇 异 的 
情况 下 才 是 可 能 的 。 可 以 证 明 当 有 "个 错误 时 该 卸 阵 是 非 奇 异 的 。 


BCH 码 的 译 码 步骤 


(1) 作为 测试 值 ， 令 v=1， 计 算 伴随 矩阵 家 的 行列 式 。 如 果 行 列 式 的 值 为 零 ， 令 v=1 一 1， 
再 一 次 计算 履 的 行列 式 。 重 复 这 个 过 程 直 到 找到 这 样 一 个 v 的 值 ， 使 伴随 矩阵 的 行列 式 不 为 零 。 
这 个 值 " 就 是 实际 发 生 错误 的 数目 。 

(2) 求 WM 的 逆 并 计算 错误 定位 多 项 式 4(o 的 系数 。 

(3) 求解 A(x) =0 的 零点 ， 从 中 可 计算 错误 位 置 X, X,, …, X,。 如 果 是 二 元 码 ， 都 到 此 为 止 
(因为 错误 程度 为 1 )。 
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(4) 如 果 不 是 二 元 码 ， 回 到 方程 组 


S 一 世 大 十 乃 忆 二 二 于 轧 
驴 = 了 B+ 克 的 +…+ XX? 


Ss= VX + BX + + VX 


因为 错误 位 置 未 知 ， 这 形成 了 一 组 2! 个 线性 方程 。 解 这 些 方程 构成 的 方程 组 就 得 到 错误 
程度 。 

通过 求 v x y 阶 矩阵 的 逆 来 计算 4 在 计算 上 成 本 很 高 ， 需 要 的 计算 量 为 的 倍数 。 如 果 我 们 
需要 纠 大 量 的 错误 〈 即 大 的 * 值 ) ， 则 需要 更 高 效 的 求解 矩阵 方程 的 方法 。 通 过 提炼 人 们 发 现 
了 很 多 不 同 的 方法 可 以 在 很 大 程度 在 减少 运算 复杂 度 。 可 以 看 到 这 个 v x v 阶 矩阵 在 形式 上 不 
是 任意 的 ， 它 的 与 主 对 角 线 垂直 方向 的 分 量 都 是 相同 的 ， 这 种 性 质 称 为 斜 对 称 。Berlekamp 
(1968) 和 Massey (1969) 利用 这 种 结构 找到 了 求解 该 方程 组 更 简单 的 方法 。 

求 4C9O 的 零点 的 最 简单 的 方法 就 是 对 所 有 域 元 素 一 个 接 一 个 地 测试 。 这 种 穷 举 搜索 方法 
称 为 Chien 搜 索 。 整 个 BCH 译 码 的 过 程 见 图 5-1。 


一 和 寻找 


错误 多 项 式 





图 5-1 BCH 解 码 流程 


例 5.10 考虑 纠 三 个 错误 的 BCH (15,5) 码 ， 它 的 生成 多 项 式 为 

BX) =X FATE+R+X+1 
设 传输 的 是 全 零 码 字 ， 接 收 到 的 多 项 式 为 v(x) =x”+x*。 故 有 两 个 错误 分 别 在 第 4 个 位 置 和 第 6 
个 位 置 ， 错 误 多 项 式 为 e(x) = 二 x。 但 是 译 码 器 并 不 知道 这 些 ， 它 连 实际 发 生 了 几 个 错误 都 
不 知道 。 我 们 用 Gorenstein-Zierler 译 码 算 法 。 首 先 我 们 用 GF(16) 上 的 算术 计算 出 伴随 式 ， 


SI=0 + =o 





S$=Q" +0 =0 
S33=0 +0 = on 
S4 = 0 + Qe= pra 
5 


Ss=0? + 05= o5 


So = CQ30+ 18 = pa 


因为 这 是 个 纠 三 个 错误 的 码 ， 首 先 令 v=1= 3。 


5 5 S$] fa or a’ 
M=|S, 3 S|l=|la 0’ a" 
S$ 5 S| la a a; 











Det(M)=0， 这 表明 发 生 的 错误 数 少 于 三 个 。 下 面 令 v=1=2， 
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a a 


“ls | 


S, 5, 








人 a 


DetGW)=1， 这 表明 实际 发 生 了 2 个 错误 。 我 们 下 面 计算 M- '。 正 巧 这 里 有 





求解 A 和 A 可 得 A, = os 和 Al 一 Cll 。 从 而 
A(X) = ox + a x+1= (x+ 1)(ox+ 1) 
因此 恢复 出 来 的 错误 位 置 为 a; 和 3。 因为 该 码 是 二 元 码 ， 错 误 程 度 为 1， 故 e(X)=x 十 x?。 





在 下 一 节 中 我 们 将 学 习 著 名 的 Reed-Solomon 码 ， 一 种 BCH 码 的 重要 子 类 。 
5.7 Reed-Solomon 码 


Reed-Solomon (RS) 码 是 一 种 广泛 应 用 于 数字 通信 和 数据 储存 的 非 二 元 BCH 码 的 重要 子 
类 。RS 码 典型 的 应 用 领域 为 : 

。 储 存 器 件 (包括 磁带 、CD、DVD、 和 条形码 等 )。 

* 无 线 或 移动 通信 (包括 移动 电话 、 微 波 连 接 等 )。 

* 卫星 通信 。 

。 数 码 电 视 或 数码 视频 广播 (DVB ) 。 

“高 速 调 制 解 调 器 ， 比 如 那些 用 到 ADSL、xDSL 等 的 调制 解 调 器 。 

这 些 都 开始 于 1960 年 发 表 在 Journal of the Society for Industrial and Applied Mathematics 上 
的 一 篇 只 有 5 页 的 论文 。 由 MIT Lincoln 实 验 室 的 Irving S. Reed 和 Gustave Solomon 在 论文 
“Polynomial Codes over Certain Finite Fields”( 菜 些 有 限 域 上 的 多 项 式 码 ) 引入 的 思想 成 为 从 
计算 机 硬盘 到 CD 播放 器 的 所 有 设备 的 纠 错 技术 的 重要 部 分 。Reed-Solomon 码 (当然 连同 许多 
工程 技术 ) 使 得 旅行 者 2 号 (Voyager I) 把 外 星球 绝妙 照片 传 回 地 球 成 为 可 能 。 它 们 使 得 用 有 
划 痕 的 CD 昕 音乐 也 成 为 可 能 。 而 且 在 不 远 的 将 来 ， 它 们 将 使 有 线 电视 运营 商 们 把 300 多 个 频道 
挤 进 他 们 的 系统 中 去 。 

RS 码 的 编码 系统 建立 在 比特 组 基础 上 ， 即 字 节 ， 而 不 是 单个 的 0) 和 1， 这 使 得 它 处 理 突 发 
错误 特别 好 ， 比如 说 6 个 连续 的 比特 错误 至 多 影响 到 两 个 字 节 ， 因 此 即使 纠 两 个 错误 的 Reed- 
Solomon 码 也 能 提供 合适 的 安全 因子 。 当 前 在 CD 技术 上 实现 的 Reed-Solomon 码 能 处 理 长 度 可 
达到 4000 相 继 比 特 位 的 突 发 错误 。 

在 这 类 BCH 码 的 子 类 中 ， 符 号 域 GF(q) 和 错误 定位 域 GF(q”") 相同 ， 即 m= 1。 因 此 在 这 种 
情况 下 有 

n=g"-1=g-1 (5-22) 

在 相同 的 域 GF(9) 上 任意 元 素 b 的 极 小 多 项 式 为 

fp(W =x-B (5-23) 
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因为 符号 域 ( 子 域 ) 和 错误 定位 域 ( 扩 域 ) 是 同一 个 ， 所 有 的 极 小 多 项 式 都 是 线性 的 。 
能 纠 ! 个 错误 的 码 的 极 小 多 项 式 为 


有 (四 = LCM [A (2, kl2), > kW] 


=(x- ox- 0 ) (x a!) (x- a) (5-24) 
因此 ， 生 成 多 项 式 的 次 数 将 总 是 2:。 故 RS 码 满足 
7 一 大 一 21 (5-25) 
一 般 地 ， 一 个 RS 码 的 生成 多 项 式 可 以 写 为 
EW =(x— 0x- oh) x a) 2 (5-26) 





例 5.11 考虑 GF(16) 上 分 组 长 度 为 15 的 纠 两 个 错误 的 RS 码 ， 这 里 :=2。 我 们 这 里 用 到 扩 域 
GF(16) 上 的 元 素 ， 该 扩 域 由 GF(2) 以 本 原 多 项 式 p(z)=< 十 z 十 1 构造 。 则 码 的 生成 多 项 式 可 以 写 为 
SO = -o-oo ) roa) oa) 


= ++ Det + x + zt (++ 1) 







=x+(0 +r r+ (a)x+aol 


这 里 n 一 k=4， 可 得 到 k=11。 因 此 我 们 得 到 了 GF(16) 上 RS (15, 11) 码 的 生成 多 项 式 。 注意 
这 个 编码 方案 把 11 个 符号 (等 价 于 4 x 11= 44bit) 编码 成 15 个 符号 (相当 于 60 比 特 )。 


定理 5.2 Reed-Solomon 码 是 最 大 距离 可 分 码 (MDS)， 它 的 最 小 距离 为 1 一 K+ 1。 
证 明 : 设 RS 码 的 设计 距离 为 4 二 21 二 1。 最 小 距离 4 满足 条 件 
dd=2rf+1 
但 对 于 一 个 RS 码 ， 有 21=n 一 Kk， 从 而 
d>d=21+1=n—kt+l 


但 由 任意 线性 码 的 Singleton 界 可 知 


d <n—kt+l 
故 太 = 由 一 KK 1， 而 且 最 小 距离 等 于 码 的 设计 距离 ， 即 心 =d。 因 为 RS 码 为 最 大 距离 可 分 三 ， 
所 有 的 码 字 都 在 码 空 间 中 在 代数 上 离 得 尽 可 能 地 远 。 这 表明 码 字 在 码 空 间 中 是 均 习 分 布 的 
表 5-7 列 出 了 某 些 RS 码 的 参数 。 注 意 对 一 个 给 定 的 最 小 距离 ， 为 了 得 到 高 码 率 ， 必 须 在 高 
阶 何 罗 瓦 域 上 进行 。 


表 5-7 某 些 RS 码 参数 





一 ~ 

OC | 
Sa 

mm mw 












19 








一 | 一 





滔 5 全 有 DC 已 码 127 


( 续 ) 





例 5.12 ”一 种 很 流行 的 Reed-Solomon 码 是 有 8 比特 符号 〔 字 节 )， 即 GF(256) 上 的 RS (255， 
223) 码 。 每 一 个 码 字 含有 255 个 码 字 字 节 ， 其 中 233 个 字 节 是 数据 ，32 个 字 节 为 奇偶 校 验 。 对 这 
个 码 ，n=255， k=223， 从 而 n 一 k=32。 因 此 21= 32 或 := 16。 译 码 器 可 以 纠 码 字 中 的 任意 16 个 
随机 符号 错误 ， 即 在 码 字 的 任何 地 方 最 多 有 16 个 字 节 的 错误 。 


例 5.13 ”Reed-Solomon 纠 错 码 对 数字 通信 信道 的 效率 有 极其 显著 的 作用 。 例 如 以 每 秒 一 
百 万 字 节 传输 的 数据 可 以 每 秒 处 理 大 约 4000 个 255 字 节 的 组 。 如 果 在 信道 中 每 秒 注入 1000 个 随 
机 的 短 错误 (长度 小 于 17 bit)， 则 每 秒 钟 将 有 600 ~ 800 个 组 被 破坏 ， 从 而 可 能 需要 重新 传输 
几乎 所 有 的 组 。 应 用 Reed-Solomon (255，235) 码 ( 它 可 以 在 每 个 235 个 信息 字 节 及 20 个 奇 
偶 校 验 字 节 的 组 中 纠 最 多 10 个 错误 ) 后 ， 接 收 到 不 能 纠 错 而 需要 重新 传输 的 组 的 时 间 间 隔 约 
为 800 年 。 发 生 译 码 错误 的 平均 时 间 间 隔 为 2 千 万 年 以 上 ! 





5.8 Reed-Solomon 码 编码 器 和 译 码 器 的 实现 
5.8.1 硬件 实现 
把 RS 编码 器 的 生成 多 项 式 表示 为 


BX) = go BX + BRHF + Bo + (5-27) 


注意 方程 右边 x 的 最 高 次 项 在 最 右边 。RS 编 码 器 的 硬件 实现 如 图 5-2 所 示 。 具 体 编 码 步骤 
如 下 。 
开关 1 


开关 2 输出 寄存 器 


| 编码 数据 
输入 数据 


图 5-2 生成 多 项 式 为 g(xX) = go+ gx + 82X+…+ gz 站 "+ 的 RS 编码 器 的 硬件 实现 
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(1) 在 前 x 个 时 钟 周期 中 ， 将 开关 1 闭合 ， 把 消息 符号 移 至 (mn 一) 级 移 位 寄存 器 。 注 意 在 这 上 
个 时 钟 周期 中 ， 根 据 移入 的 信息 符号 以 及 移 位 寄存 器 每 个 单元 前 面 的 加 法 器 ， 所 以 移 位 寄存 
器 的 内 容 和 反馈 回路 是 不 断 改变 的 。 

(2) 在 前 个 时 钟 周期 中 ， 开 关 2 处 于 闭合 状态 ， 从 而 使 得 消息 符号 可 以 被 同时 直接 送 入 输 
出 寄存 器 中 。 注 意 ， 这 是 一 个 系统 化 的 设计 ， 码 字 的 前 个 符号 是 原始 信息 符号 的 。 

(3) 当 k 个 信息 符号 被 送 入 输出 寄存 器 后 ， 将 开关 1 开启 ， 开 关 2 置 为 开启 状态 。 在 移 位 寄 
存 器 中 保留 的 内 容 都 是 校 验 位 。 这 些 符号 将 被 移出 ， 并 跟 在 原先 [个 信息 符号 之 后 ， 从 而 成 为 
一 个 完整 的 码 字 。 

(4) 在 剩 下 的 (n 一 局 个 时 钟 周期 中 ， 把 移 位 寄存 器 中 的 校 验 符号 转移 到 输出 寄存 器 中 ， 移 
位 寄存 器 全 部 清 零 。 

(5) 总 时 间 周 期 是 4， 输 出 寄存 器 中 的 内 容 是 最 终 对 应 于 k 个 信息 符号 的 码 字 多 项 式 。 





例 5.14 IEEE 802.15.4a 使 用 在 GF(29 上 的 RS(63, 55) 编 码 器 。 此 时 , n 一 k= 63 一 55 = 8 = 21。 
编码 器 的 生成 多 项 式 可 以 表示 为 
8(X)=(x-aN(x-o Mx-a N(x-a x-o Mx-a x-o x- a) 


5-28 
=X +OVX tO xX tO XA tO Xt FAX Fo x + x+ ( ) 


编码 器 的 移 位 寄存 器 部 分 如 图 5-3 所 示 。 





图 5-3 RS(63,55) 编 码 器 中 移 位 寄存 器 部 分 
RS 码 的 译 码 过 程 参见 图 $-1。 每 一 个 子 分 组 ， 也 就 是 伴随 式 计算 模块 分 组 ， 差 错 定位 分 组 
以 及 差错 幅度 分 组 均 可 以 使 用 FPGA 实 现 。 由 于 所 有 的 算术 都 在 GF(q) 上 进行 ， 因 此 加 法 、 乘 
法 、 求 逆 可 以 查找 表格 。 | 





存在 许多 RS 码 的 商业 硬件 实现 。 许 多 已 有 的 系统 用 现货 供应 的 集成 电路 来 对 Reed- 
Solomon 码 进行 编码 和 译 码 。 这 些 集 成 电路 逐渐 支持 一 定 程度 的 程式 化 功能 , 例如 RS (255, k) 
码 ， 其 中 1 可 以 为 1 ~16 个 符号 。 最 近 的 趋势 是 朝 着 VHDL 或 Verilog 设 计 (逻辑 核 或 知识 产权 核 ) 
发 展 。 它 们 有 一 些 比 标准 集成 电路 优越 的 方面 。 一 个 逻辑 核 可 以 同 其 他 VHDL 或 Verilog 部 件 集 
成 ， 并 综合 到 一 个 FPGA ( 域 可 编程 门 阵列 ) 或 ASIC (特定 应 用 集成 电路 ) 中 一 一 这 使 得 所 谓 
的 “芯片 上 的 系统 ”设计 成 为 可 能 ， 其 中 多 种 模块 可 以 结合 到 单一 的 集成 电路 块 中 。 根 据 产 
品 要 求 不 同 ， 逻 辑 核 通常 比 标准 的 集成 电路 造价 要 低 得 多 。 采 用 逻辑 核 后 ， 设 计 者 各 免 了 不 
断 购 买 Reed-Solomon 集 成 电路 。 


5.8.2 软件 实现 


直到 最 近 ， 对 Reed-Solomon 码 的 “实时 ”软件 实现 除 最 简单 的 情况 〈 即 那些 : 值 很 小 的 码 ) 
外 ， 都 需要 太 大 的 运算 量 。 软 件 实现 Reed-Solomon 码 的 最 大 困难 是 通用 处 理 器 不 支持 伽 罗 瓦 
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域 上 的 算术 运算 。 例 如 软件 实现 伽 罗 瓦 域 上 的 乘法 需 槛 测试 0、 两 个 日 志 表 、 模 加 和 反日 志 表 。 
但 是 仔细 设计 以 及 处 理 器 性 能 的 提高 表明 软件 实现 可 以 达到 相对 较 高 的 数据 速率 。 表 5-8 给 出 
了 在 1.6GHz 奔 腾 PC 上 的 一 些 样 本 数字 。 这 些 数据 速率 只 是 译 码 的 。 编 码 要 快 一 些 ， 因 为 它 需 
要 较 少 的 运算 。 


表 5-8 RS 码 译 码 软 件 译 码 的 一 些 样 本 数据 





码 数据 速率 1 
RS(255, 251) ~120 Mbps 2 
RS(255, 239) ~30 Mbps 
RS(255, 223) ~10 Mbps 16 





5.9 实 信道 上 RS 码 性 能 


读者 可 能 认为 当 我 们 降低 RS 码 的 码 率 时 ，BER 性 能 可 能 得 到 提高 。 然 而 ， 在 实 信道 上， 
调制 方案 也 会 对 BER 有 所 影响 。 因 此 ， 我 们 20 
必须 同时 考 塌 调 制 和 编码 机 制 。 其 中 一 个 
机 制 会 提升 误差 性 能 ， 而 另外 一 个 会 降低 
误差 性 能 。 提 升 的 那个 机 制 是 编码 机 制 。 
宛 余 度 越 高 ， 码 的 纠 错 能 力 就 越 强 。 降 低 
的 那个 机 制 是 由 于 元 余 度 增加 (以 及 在 实 
时 通信 系统 中 更 加 快速 的 信 令 ) 导致 的 每 
个 信道 符号 (和 数据 符号 相 比 ) 的 能 力 下 
降 。 下 降 的 符号 能 量 导 致 解 调 产生 很 多 错 
误 。 最 终 ， 第 二 种 机 制 赢得 胜利 ， 因 此 在 
一 个 非常 低 的 码 率 下 ， 系 统 经 历 误差 的 性 
能 降低 。 

图 5-4 展 示 了 同时 考虑 差错 控制 编码 和 
调制 的 实时 通信 系统 的 性 能 。 考 虑 一 个 使 
用 BPSK 调 制 方案 的 RS(31, 如 码 。 此 时 ， 为 
进行 纠 错 编码 而 付出 的 代价 是 以 等 于 码 率 
的 逆 的 因子 而 产生 的 带宽 扩张 。 图 中 曲线 
清楚 地 显示 了 最 小 化 所 要 求 的 Es/ No 的 最 优 Sa 04 06 08 1 


EJN, (dB) necessary for P, = 10™ 





码 率 。 很 容易 看 出 ， 对 于 高 斯 信道 ， 最 优 
码 率 大 概 是 0.6 ~0.7， 对 于 菜 斯 衰减 信道 
(直接 的 和 反射 的 收 到 信和 号 功率 比 K=7 dB)， 
最 优 码 率 大 概 是 0.5， 对 于 瑞 利 衰落 信道 ， 
最 优 码 是 0.3。 


Code rate 
图 5-4 使 用 BPSK 的 RS(31,) 解 码 器 
相对 于 码 率 的 性 能 函数 


在 实际 环境 中 ， 通 信和 系统 的 能 量 消耗 也 成 为 一 个 非常 重要 的 设计 限制 ， 例 如 ， 无 线 传 
感 器 网 络 。 如 果 我 们 考虑 差错 控制 编码 分 组 和 调制 分 组 的 硬件 实现 ， 能 量 花 费 可 以 分 成 以 
下 儿 种 
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(1) 由 于 信道 编码 和 解码 而 需要 的 计算 能 量 ， 

(2) 由 于 调制 和 解 调 而 需要 的 电路 能 量 ， 

(3) 由 于 传输 宛 祭 位 而 需要 的 信 令 能 量 〈 无 线 能 量 ) 。 

短 距 离 之 间 、 收 发 器 电路 以 及 计算 所 花费 的 能 量 和 信 令 能 量 差不多 。 因 此 ， 设 计策 略 是 
最 小 化 在 编码 器 译 码 器 分 组 和 调制 解 调 分 组 中 所 有 的 能 量 消 耗 ， 并 同时 考虑 发 射 信 令 能 量 。 
差错 控制 码 用 来 达到 需要 的 比特 错误 率 ， 并 降低 由 于 编码 增益 而 产生 的 信 令 能 量 。 然 而 ， 更 
多 的 能 量 花费 是 由 于 传输 元 余 比 特 以 及 编码 和 译 码 。 因 此 ， 对 于 某 一 种 编码 调制 配置 ， 能 量 
花费 可 以 是 最 优 的 。 此 最 优 依赖 于 发 射 器 和 接收 器 之 间 的 距离 ， 因 为 这 将 影响 信 令 〈 无 线 ) 
能 量 。 





例 5.15 ”图 5-5 展 示 了 不 同 的 RS(31, 所 编码 器 和 BPSK 调 制 (S Chouhan 等 人 ) 为 得 到 
BER=10- 而 需要 的 能 量 。 图 中 每 一 个 数据 比特 的 总 能 量 对 应 一 个 纠 错 能 力 !+。 编 码 运行 在 
StrongArm SA1100 处 理 器 上 ， 发 射 器 和 接收 器 相隔 110 米 ， 并 且 路 径 损耗 指数 等 于 4。 所 有 的 
计算 能 量 是 编码 和 译 码 能 量 的 总 和 。 从 图 中 可 以 看 出 : 在 此 处 理 器 上 ， RS(31, 20) 达 到 了 最 小 
的 能 量 。 














每 数据 比特 的 总 能 量 (phJ) 
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纠 错 能 力 : 


图 5-5 RS(31*) 的 总 能 量 和 纠 错 能 力 的 对 比 


为 达到 最 小 的 能 量 配置 ， 一 个 非常 有 意思 的 问题 是 如 何 发 据 码 字 长 度 (分 组 长 度 n)， 
以 及 其 与 纠 错 能 力 ! 之 间 的 关系 。 图 5-6 给 出 了 在 StrongArm SA1100 处 理 器 上 ， 发 射 器 和 接 
收 器 相隔 125 米 ， 使 用 BPSK 调 制 的 情况 下 的 模拟 结果 。 其 中 一 个 场景 ， 即 RS(127, 121, 7) 
达到 了 最 小 的 能 量 。 
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每 数据 比特 的 总 能 量 (hy) 





图 5-6 总 能 量 与 码 长 及 纠 错 能 力 的 对 比 





5.10 贱 套 码 


要 得 到 分 组 长 度 很 大 的 码 的 方法 之 一 就 是 将 码 虑 奏 起 来 。 这 种 技术 结合 了 一 个 具有 小 字 
母 表 的 码 和 一 个 大 字母 表 的 码 。 设 一 个 g 元 符号 的 长 度 为 K。 这 个 组 可 以 分 段 为 K 个 k 符 号 子 
组 ， 每 个 子 组 可 以 看 成 是 gd 元 字母 表 中 的 一 个 元 素 。 一 个 由 KE 个 这 样 的 子 组 构成 的 序列 可 以 用 
GF(q*) 上 的 〈N, R) 码 进 行 编码 。 现 在 ，N 个 9 元 符号 中 的 每 一 个 可 以 看 做 k 个 9 元 符号 ， 进 而 
可 用 4 元 (n, k) 码 进行 编码 。 因 此 筑 套 码 有 两 个 不 同 编码 层 。 这 种 产生 一 个 嵌 套 码 的 方法 由 
图 5-7 给 出 。 





图 5-7 码 的 供 套 


例 5.16 下 面 的 两 个 码 可 以 通过 企 套 形成 一 个 有 更 大 分 组 长 度 的 码 。 

内 码 ，GF(8) 上 纠 两 个 错误 的 RS (7, 3) 码 。 

外 码 : GF(83) 上 纠 三 个 错误 的 RS (511, 505) 码 。 

将 这 两 个 码 嵌 套 后 可 得 GF(8) 上 的 (3577, 1515) 码 。 这 个 码 可 以 纠 任意 11 个 随机 错误 ， 码 
字 长 度 为 3577 个 符号 ， 符 号 为 GF(8) 上 的 元 素 。 


例 5.17 RS 码 大 量 用 于 CD 纠 错 。 下 面 我 们 给 出 标准 CD 数据 格式 。 
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采样 频率 44.1kHz， 即 对 尼 硅 斯 特 频率 (Nyquist frequency， 指 低 于 20kHz 的 听觉 频率 ) 
有 10% 的 富余 。 

量化 : 线性 16 比 特 一 理论 SNR 值 大 约 为 98dB (对 具有 最 大 允许 振幅 的 正 续 曲线 信号 )，2 
的 补 码 。 

信和 号 格式 : 音频 比特 速率 1.41Mbit/s (44.1kHz x 16bit x 2 信道 ) ， 编织 Reed-Solomon 码 
(CIRC) ， 总 数据 速率 (CIRC， 同 步 ， 子 码 ) 2.034Mbit/s。 

播放 时 间 : 最 多 74.7 分 钟 。 

盘 规格 : 直径 120 毫 米 ， 厚 度 1.2 毫 米 ， 磁 轨 槽 1.6 微 米 ， 单 面 媒体 ， 盘 按 顺 时 针 转 动 ， 信 
号 由 里 向 外 记录 ， 常 数 线性 速度 (CLV ) ， 以 最 大 记录 密度 记录 (光盘 自转 不 是 匀速 的 ， 它 将 
从 每 分 钟 500 转 逐渐 减低 到 每 分 钟 200 转 ) ， 档 宽 0.5 微 米 ， 槽 边界 为 1， 而 它们 之 间 的 区 域 ， 不 
管 槽 内 还 是 槽 外 都 为 0。 

纠 错 : 一 般 CD 系 统 错误 率 为 10~，， 这 表明 每 秒 钟 有 20 次 数据 错误 发 生 (比特 率 x BER )。 

大 约 可 纠 的 错误 为 每 秒 钟 200 个 。 

错误 来 源 : 灰 侍 、 划 伤 、 手 印 、 槽 的 不 对 称 性 、 底 层 汽 泡 或 间 点 、 镀 膜 症 点 或 次 品 。 
编织 Reed-Solomon 码 (CIRC ) : 
*。C2 可 有 效 纠 突 发 错误 。 
*。 CI 可 纠 随 机 错误 并 检测 突 发 错误 。 
* 数据 在 放 入 光盘 之 前 要 经 历 三 个 编织 阶段 。 
*。 交叉 编织 使 奇偶 校 验 能 纠 突 发 错误 。 
(1) 输入 阶段 :每 个 输入 帧 12 个 字 〈16 比 特 ， 每 信道 6 个 字 ) 的 数据 分 成 24 个 8 比特 的 符号 。 
(2) C2 Reed-Solomon 码 : 24 个 符号 的 数据 通过 一 个 (28, 24) RS 码 进行 编码 ，4 个 奇偶 校 


验 符 号 用 于 纠 错 。 
(3) 交叉 编织 : 防范 发 生 突 发 错误 和 分 离 纠 错 码 ， 一 个 码 可 以 检查 另 一 个 码 的 准确 性 ， 加 
强 纠 错 功能 。 


(4) Cl Reed-Solomon 码 : 交叉 编织 的 C2 码 的 28 个 符号 再 次 用 (32，28) RS 码 (4 个 奇偶 
校 验 符 号 用 于 纠 错 ) 编码 。 

(5) 输出 阶段 有 一 半 的 码 字 要 有 一 个 符号 的 延迟 以 避免 在 符号 边界 上 发 生 两 个 符号 的 
错误 。 

CIRC 的 性 能 ， 两 个 RS 码 (C1 和 C2) 都 有 4 个 奇偶 校 验 位 ， 它 们 的 最 小 距离 为 S。 如 果 错 
误 位 置 未 知 ， 可 以 纠 最 多 两 个 符号 发 生 错 误 的 情况 。 如 果 错 误 个 数 超过 可 纠 的 界 ， 它 们 会 通 
过 播 补 隐藏 起 来 。 因 为 偶数 标记 的 取样 数据 和 奇数 标记 的 取样 数据 被 尽 可 能 地 编织 ，CIRC 可 
以 通过 简单 线性 插 补 隐藏 长 的 突 发 错误 。 

“最 大 可 纠 的 突 发 长 度 约 为 4 000 数 据 比 特 (2.5 毫 米 长 的 磁 轨 )。 

。 在 最 坏 情 况 下 插 补 能 纠 的 突 发 长 度 最 大 值 约 为 12 320 数 据 比 特 (7.7 毫 米 长 的 磁 轨 )。 

取样 插 补 率 在 BER (比特 错误 率 ) = 10- 时 为 每 10 个 小 时 一 个 取样 ， 而 在 BER = 10-? 时 
为 每 1000 个 小 时 一 个 插 补 。 不 能 检测 的 错误 取样 在 BER = 10 ”时 为 每 7530 小 时 少 于 一 个 ， 
BER = 10 “时 可 以 忽略 。 





5.11 评注 


BCH 码 是 由 Hocquenghem 在 1959 年 、Bose 和 Ray Chaudhuri 在 1960 年 独立 发 现 的 。BCH 码 
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构成 最 重要 和 功能 强大 的 线性 分 组 码 的 一 类 ， 即 循环 码 。 

Reed-Solomon 码 是 由 Irving S. Reed 和 Gustave Solomon 发 现 的 。 他 们 1960 年 在 Journal of 
fthe Society for Industrial and Applied Mathematics 上 发 表 了 题 为 “Polynomial Codes over 
Certain Finite Fields” 的 只 有 5 页 的 论文 。 尽 管 Reed-Solomon 码 有 很 多 优点 ， 它 们 在 被 发 现 之 
后 并 没有 马上 被 应 用 ， 而 不 得 不 等 待 硬件 技术 的 发 展 跟 得 上 。 在 1960 年 没有 快速 数字 电子 学 ， 
至 少 按 今天 的 标准 当时 没有 。Reed-Solomon 论 文 建议 了 9 种 处 理 数据 的 方法 ， 但 当时 没 和 人 知道 
是 不 是 可 行 ， 在 1960 年 很 可 能 是 不 可 行 的 。 

终于 ,技术 赶 上 来 了 ， 许多 研究 人 员 开 始 了 码 的 实现 工作 。 共 中 关键 人 物 之 一 是 Elwyn 
Berle-kamp， 他 是 加 利 福 尼 亚 大 学 伯克利 分 校 的 电气 工程 教授 ， 他 发 明了 Reed-Solomon 码 的 一 
种 高 效 译 码 算法 。Berlekamp 算 法 在 旅行 者 2 号 上 得 到 了 应 用 ， 也 是 CD 播放 器 译 码 的 基础 。 其 他 
许多 锦上添花 (有些 共有 重要 的 理论 意义 ) 的 工作 也 加 进来 。 例 如 ，CD 所 用 的 就 是 称 为 交叉 编 
织 的 Reed-Solomon 码 ， 或 简称 为 CIRC。 


5.12 小 结 


“GF(q) 上 的 本 原 元 是 这 样 一 个 元 素 c， 即 所 有 域 元 素 除 零 外 都 能 表示 为 w 的 需 。 一 个 域 可 
以 有 多 于 一 个 本 原 元 。 

*GF(g) 上 的 一 个 本 原 多 项 式 p(x) 是 GF(9) 上 的 一 个 满足 下 列 性 质 的 素 多 项 式 ， 在 由 模 p(x) 
构造 的 扩 域 上 ，x 所 表示 的 域 元素 是 一 个 本 原 元 。 

* 形 如 4 =g" 一 1 的 分 组 长 度 n 称 为 GF(g) 上 一 个 码 的 本 原 分 组 长 度 。GF(q) 上 具有 本 原 分 组 
长 度 的 循环 码 称 为 本 原 循环 码 。 

* 在 GF(g") 上 有 可 能 将 x*”!' 一 1 分 解 为 x**" -1=]](x-B,)， 其 中 B 取 遍 GF(q") 上 所 有 非 


零 元 素 。 这 表明 每 一 个 多 项 式 f(x) 在 GF(g") 上 可 以 表示 为 一 些 线性 项 的 乘积 ， 而 8 恰好 
是 f(x) 中 一 个 多 项 式 的 零点 。 这 个 fi(x) 成 为 B 的 极 小 多 项 式 。 
。GF(g”") 上 两 个 在 GF(g) 具有 相同 极 小 多 项 式 的 元 素 称 为 在 CF(q) 上 共 罗 。 
* 定义 在 GF(g) 上 的 分 组 长 度 为 4”- 1 的 BCH 码 称 为 本 原 BCH 码 。 
“要 确定 纠 ! 个 错误 的 本 原 分 组 长 度 为 n= 9g" - 1 的 BCH 码 的 生成 多 项 式 ，(1) 选取 一 个 次 
数 为 m 的 素 多 项 式 并 构造 GF(q")，(2) 对 i 二 1,2,…, p 求 a 的 极 小 多 项 式 f(x)， (3) 求生 
成 多 项 式 g(x) =LCMIACD, AD， …, 户 CD]。 用 这 种 方法 构造 的 码 至 少 可 以 纠 ! 个 错 。 由 于 
这 个 原因 ，d=2t+ 1 称 为 码 的 设计 距离 ， 而 码 的 最 小 距离 为 心 > 2++1。 
“BCH 码 的 译 码 步骤 ， 
(1) 作为 测试 值 ， 令 v=:， 计 算 伴随 矩阵 MM 的 行列 式 的 值 。 如 果 行 列 式 的 值 为 零 ， 则 令 v= 
1 一 1， 再 一 次 计算 M 的 行列 式 的 值 。 重 复 这 个 过 程 直 到 得 到 一 个 v 值 使 伴随 矩阵 的 行列 式 的 值 
不 为 零 。 这 个 v 的 值 就 是 实际 发 生 的 错误 的 个 数 。 
(2) 求 矩 阵 M 的 着 并 计算 错误 定位 多 项 式 4(z)。 
(3) 解 方程 A(x) =0， 求 得 一 些 零点 ， 从 中 计算 错误 位 置 X, X,, …, X,。 如 果 是 二 元 码 ， 到 
此 为 止 (因为 错误 的 大 小 为 1)。 
(4) 如 果 码 不 是 二 元 码 ， 园 到 方程 组 
$= 了 + 入 +…+ 卫 大 
驴 = 了 如 + 六 的 + 二 2 


B= VN + TX + + TX 
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因为 错误 位 置 未 知 ， 这 形成 了 21 个 线性 方程 。 解 这 些 方程 构成 的 方程 组 就 得 到 错误 程度 。 
。 能 纠 个 错误 的 RS 码 的 生成 多 项 式 为 

8(7)=LCM[A C7), f(x), ,fi(2)] 

=(x— (x— 0) (x oa ) (x — 0) 

因此 ， 生 成 多 项 式 的 次 数 总 是 2:。 故 RS 码 满足 n 一 k=21。 
“Reed-Solomon 码 是 最 大 距离 可 分 (MDS) 码 ， 其 最 小 距离 为 n 一 k++1。 
* 获得 大 的 分 组 长 度 码 的 方法 之 一 就 是 将 码 嵌 套 。 这 种 技术 将 一 个 小 字母 表 的 码 和 一 个 大 
字母 表 的 码 结合 起 来 。 设 一 个 g 元 符号 组 长 度 为 KK， 这 个 组 可 以 分 为 K 个 有 k 个 符号 的 子 
组 ， 每 一 个 子 组 可 以 看 做 9 元 字母 表 中 的 一 个 元 素 。 


“ 当 你 排除 那些 不 可 能 的 事件 后 ， 留 下 的 不 管 有 多 么 荒 课 ， 都 必然 是 真理 。” 
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习题 
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5.2 


5.3 


5.4 
5.5 


5.6 


357 


5.8 


5.9 


用 一 个 合适 的 本 原 多 项 式 由 GF(3) 构造 GF(9)。 

(1) 找 出 分 组 长 度 为 8 的 纠 两 个 错误 的 三 元 BCH 码 的 生成 多 项 式 g(x)。 该 码 的 码 率 是 多 
少 ? 与 (11,6) 三 元 Golay 码 比较 码 率 和 最 小 距离 。 

(2) 找 出 分 组 长 度 为 26 的 纠 三 个 错误 的 三 元 BCH 码 的 生成 多 项 式 g(x)。 

找 出 分 组 长 度 为 31 的 一 个 二 元 BCH 码 的 生成 多 项 式 g(x)。 用 本 原 多 项 式 p(x) = 居 十 邓 十 1 来 构 

造 GF(32)。 该 码 的 最 小 距离 是 多 少 ? 

GF(2) 上 的 RS 码 的 生成 多 项 式 是 什么 ? 

求 下 列 码 的 生成 多 项 式 和 最 小 距离 

(1) RS (15, 11) 码 。 

(2) RS (15, 7) 码 。 

(3) RS (31, 21) 码 。 

考虑 一 个 GF(16) 上 的 三 错误 纠 错 BCH(15, 5) 码 。 给 定 一 个 接收 多 项 式 v(x)=x + 刀 ， 则 发 送 

多 项 式 是 什么 ? 


证 明 任意 BCH 码 都 是 有 相同 设计 距离 的 Reed-Solomon 码 在 子 域 上 的 子 码 。 在 什么 条 件 下 该 
BCH 码 的 码 率 等 于 RS 码 的 码 率 ? 
证 明 Vandermonde 多 项 式 
1 1 
1 X, X, 
A= 和 X> X (5-29) 
XA 人 加 人 


有 一 个 非 零 的 行列 式 ， 当 且 仅 当 所 有 的 X;(i=1,2,…, 站 是 不 同 的 。 
考虑 GF(11) 上 具有 下 列 奇偶 校 验 矩 阵 的 码 
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1 
1 .. 
到 -2 3 10 (5-30) 
1 2 3 103 
(1) 证 明 该 码 为 纠 三 个 错误 的 码 。 
(2) 求 该 码 的 生成 多 项 式 。 
5.10 考虑 CF(I1D) 上 具有 下 列 奇偶 校 验 矩 阵 的 码 
1 1 1 1 1 
1 2 3 4 10 
1 2° 3 4? 10? 
H= 3 3 3 3 
1 23 3 4 ... 10 
1 24 3 44 ..: 104 (5-31) 
1 25 3 45 ... 105 


5.11 


(1) 证 明 该 码 为 纠 三 个 错误 的 码 。 

(2) 求 该 码 的 生成 多 项 式 。 

高 速 超 宽 带 (UWB) 通信 中 的 ECMA 标 准 使 用 GF(2”) 上 的 RS(255, 249) 码 ， 
(1) 找 出 此 码 的 生成 多 项 式 。 

(2) 给 出 系统 化 的 RS(255, 249) 码 的 基于 移动 寄存 器 的 实现 。 


上 机 习题 


5.12 


3.13 
5.14 


5.15 
5.16 


5.17 
5.18 


写 一 个 程序 ， 使 它 当 输入 为 一 个 本 原 多 项 式 的 系数 以 及 9 和 六 的 值 ， 它 能 构造 扩 域 
GF(q")。 

写 一 个 程序 ， 使 它 能 做 GF(2") 上 的 加 法 和 乘法 运算 ， 其 中 mm 是 个 整数 。 

求 分 组 长 度 为 63 的 一 个 二 元 BCH 码 的 生成 多 项 式 g(x)。 用 本 原 多 项 式 p(x) =x* 十 x 十 1 构 
造 GF(64)。 该 码 的 最 小 距离 是 多 少 ? 

写 一 个 程序 ， 当 给 出 x、g、it 和 接收 到 的 向 量 时 它 能 进行 BCH 译 码 。 

写 一 个 程序 ， 它 能 输出 码 字 长 度 为 4 及 信息 长 度 为 的 Reed-Solomon 码 的 生成 多 项 式 。 一 
个 有 效 的 "应 该 为 2 一 1， 其 中 W 为 不 小 于 3 的 整数 。 该 程序 应 该 还 列 出 码 的 最 小 距离 。 

写 一 个 程序 ， 它 能 进行 标准 CD 中 的 两 级 RS 编译 码 。 

使 用 基于 移动 寄存 器 实现 方法 编写 一 段 程序 ， 实 现 GF(29 上 的 RS(63, 55) 的 系统 化 的 编 
码 器 。 
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现实 中 两 个 真理 之 间 的 最 短路 径 要 经 过 复杂 的 中 间 过 程 。 





Jacques Hadamard (1865—1963) 


6.1 卷 积 码 简介 


到 目前 为 止 ， 我 们 学 习 了 分 组 码 ， 它 把 k 个 信息 符号 的 组 编码 成 为 个 编码 符号 的 组 。 在 
未 编码 的 符号 组 (信息 字 ) 和 编码 后 的 符号 组 ( 码 字 ) 之 间 总 有 一 一 对 应 关系 。 这 种 方法 特 
别 适用 于 高 数据 率 的 应 用 ， 它 将 进入 的 未 编码 的 数据 流 首先 分 成 组 ， 然 后 编码 、 传 输 ( 见 图 
6-1)。 由 于 下 面 的 原因 ， 大 的 分 组 长 度 是 很 重要 的 ， 

(1) 许多 具有 大 距离 性 质 的 好 码 都 有 大 的 分 组 长 度 (如 RS 码 )。 

(2) 分 组 长 度 越 大 说 明 编码 的 附加 耗费 越 低 。 

但 是 ， 大 分 组 长 度 的 缺点 是 ， 收 信人 只 有 在 收 到 整个 编码 后 的 数据 组 后 才能 进行 译 码 ， 
这 样 可 能 会 造成 延迟 。 对 比 之 下 ， 还 有 另外 一 种 编码 方案 ， 它 用 到 小 得 多 的 未 编码 数据 长 度 
如 。 这 些 称 为 信息 帧 (information frame) 。 一 个 信息 帧 一 般 只 包含 几 个 符号 ， 而 且 少 的 时 候 
可 以 只 有 一 个 符号 ! 这 些 信 息 帧 被 编码 成 长 度 为 m 的 码 字 帧 (codeword frame)。 但 是 ， 只 有 
一 个 信息 帧 不 能 用 来 获得 码 字 帧 ， 而 是 当前 信息 帧 连同 原来 的 mm 个 信息 帧 用 于 获得 单一 的 码 字 
帧 。 这 表明 这 样 的 编码 器 有 记忆 ， 它 保留 以 前 进来 的 m 个 信息 帧 。 用 这 种 方式 得 到 的 码 称 为 树 
码 (tree code)。 直 到 现在 我 们 所 讨论 的 译 码 技术 都 是 代数 的 ， 且 无 记忆 的 ， 即 译 码 判决 只 决 
定 于 当前 码 字 。 卷 积 码 在 判决 时 用 到 过 去 的 信息 ， 即 需要 有 记忆 。 
101110.… 





图 6-1 用 分 组 编码 器 编码 


在 本 章 中 ， 我们 从 介绍 树 码 和 网 格 码 开 始 ， 然 后 将 用 到 必要 的 数学 工具 来 构造 卷 积 码 。 
我 们 将 看 到 卷 积 码 可 以 很 容易 地 用 多 项 式 表示 。 接 下 来 我 们 将 给 出 卷 积 码 的 矩阵 描述 。 本 章 
将 继续 讨论 著名 的 Viterbi 译 码 技术 。 我 们 将 以 介绍 Turbo 编 码 和 译 码 来 结束 本 章 。 我 们 同时 会 
为 Turbo 编 码 简 要 讨论 Interleaver 设 计 。 


6.2 树 码 和 网 格 码 


假设 我 们 有 一 个 无 限 长 的 输入 符号 流 。( 感 谢 今天 发 送 的 信息 量 ， 这 种 假设 不 算 太 差 ! ) 
该 符号 流 首先 分 成 ko 个 符号 的 片段 ， 每 个 片段 称 为 一 个 信息 巾 ， 如 前 所 述 。 编 码 器 由 两 部 分 
组 成 ( 见 图 6-2): 

(1) 内 存 ， 其 实 就 是 一 个 移 位 寄存 器 。 

(2) 一 个 逻辑 电路 。 

编码 器 的 内 存 可 以 储存 六 个 信息 帧 。 每 次 当 一 个 新 的 信息 帧 到 来 时 ， 它 被 移 位 到 移 位 寄存 
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器 ， 最 旧 的 那个 信息 帧 就 被 抛弃 。 在 每 一 个 帧 时 间 段 末 ， 编 码 器 在 其 内 存 中 有 关 个 最 新 的 信息 
帧 ， 它 们 对 应 于 总 共产 ze 个 信息 符号 。 


约束 长 度 v= mk 


一 一] ， EGG 


信息 帧 








一 






编码 器 ， 码 字 帧 


图 6-2 生成 树 码 的 移 位 寄存 器 编码 器 


当 一 个 新 的 帧 到 来 时 ， 编 码 器 用 刚 到 的 帧 和 原来 储存 的 m 个 帧 计算 码 字 帧 。 码 字 帧 的 计算 
是 用 逻辑 电路 完成 的 。 该 码 字 帧 被 移 位 出 去 。 最 旧 的 信息 帧 被 抛弃 ， 最 新 的 信息 帧 被 移 位 进 
来 。 然 后 编码 器 又 可 以 对 接 下 来 的 信息 帧 编码 了 。 因 此 ， 对 每 一 个 进来 的 信息 帧 〈j 个 符号 )， 
编码 器 都 产生 一 个 码 字 帧 〈《m 个 符号 ) 。 可 以 观察 到 同样 的 信息 帧 可 能 会 产生 不 同 的 码 字 帧 ， 
因为 码 字 帧 与 原来 的 m 个 信息 帧 也 有 关 。 

定义 6.1 ”一 个 移 位 寄存 器 编码 器 的 约束 长 度 (constraint length) 定义 为 它 的 内 存 中 所 能 
储存 的 符号 的 个 数 。 我 们 将 在 本 章 后 面部 分 给 出 约束 长 度 更 正式 的 定义 。 

如 果 移 位 寄存 器 编码 器 储存 了 mm 个 长 度 为 如 的 原来 的 信息 帧 ， 则 该 编码 器 的 约束 长 度 为 
v= mko。 

定义 6.2 ”由 所 有 可 能 输入 到 一 个 移 位 寄存 器 编码 器 的 序列 所 产生 的 所 有 无 限 长 码 字 的 无 
限 全 合 称 为 一 个 (no, ko) 树 码 。 该 树 码 的 码 率 定义 为 


(6-1) 


一 种 更 正式 的 定义 是 ，(no, 如 ) 树 码 是 GF(g) 上 元 素 的 伪 无 限 序 列 的 集合 到 自身 的 一 个 映射 ， 
满足 对 任意 m， 车 两 个 伪 无 限 序列 的 前 mk 个 分 量 相同 ， 则 它们 的 映像 也 在 前 mko 个 分 量 相 同 。 
定义 6.3 ” 移 位 寄存 器 编码 器 的 码 字 长 度 (Wordlength) 定义 为 k=(m 十 1)ko。 移 位 寄存器 
编码 器 的 分 组 长 度 定义 为 n= (ma+lmm = 注意 码 率 为 R=- 
0 0 
一 般 情况 下 ， 对 实用 移 位 寄存 器 编码 器 来 说 ， 信 息 帧 长 度 如 很 小 (通常 小 于 5)。 因 此 ， 很 
难 像 分 组 码 的 情况 (如 RS 码 ) 得 到 树 码 接近 1 的 码 率 R。 


定义 6.4 一 个 (m0, ko) 树 码 如 果 是 线性 的 、 不 随时 间 变 化 的 ， 而且 有 有 限 码 字 长 度 k= 
(m 十 1)kop， 则 称 为 (n,k) 卷 积 码 (Convolutional Code ) 。 


定义 6.5 ”一 个 不 随时 间 变 化 且 有 有 限 码 字 长 度 k 的 (no, ko) 树 码 称 为 (n, 上 ) 滑动 分 组 码 
(Sliding Block Code). 
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例 6.1 考虑 图 6-3 所 示 的 





卷 积 码 。 





图 6-3 例 6.1 的 卷 积 编码 器 ， 此 处 如 = 1, no=2 和 m = 2 


这 个 编码 器 每 次 把 1 比特 输入 编码 成 2 比特 的 输出 。 信 息 帧 的 长 度 为 ke= 1， 码 字 帧 的 长 
度 为 m=2， 分 组 长 度 为 (m+ Uno=6。 该 编码 器 的 约束 长 度 为 v= 2， 码 率 为 12。 输 出 数据 
的 速率 是 输入 数据 的 两 倍 。 加 法 器 为 二 元 加 法 器 ， 而 且 从 电路 实现 的 角度 看 ， 它 们 只 是 异 或 
(XOR) 门 。 

我 们 假定 移 位 寄存 器 的 初始 状态 为 [0 0]。 输 入 比特 可 能 为 “0”"， 也 可 能 为 “1”。 假 定 进来 
的 是 “0  。 在 执行 逻辑 运算 后 ， 可 知 计算 出 的 码 字 帧 的 值 为 [0 0]。0 将 被 反馈 到 移 位 寄存 器 的 
内 存 ， 而 那个 最 右边 的 “0” 被 委 弃 了 。 移 位 寄存 器 的 状态 保持 在 [0 01]。 下 面 假设 “1” 进 入 编 
码 器 。 我 们 再 一 次 执行 逻辑 运算 来 计算 码 字 帧 。 这 次 我 们 得 到 [1 1]， 它 将 作为 编码 后 的 帧 输出 。 
进来 的 “1” 将 被 移 位 到 内 存 中 ， 而 最 右边 的 位 被 丢弃 。 故 移 位 寄存 器 新 的 状态 将 为 [0 0]。 





之 前 之 后 丢弃 的 比特 





此 外 ， 这 里 有 两 种 关于 输入 比特 的 可 能 情况 :“0” 或 “1”。 表 6-1 列 出 了 所 有 的 可 能 情况 。 
表 6-1 卷 积 编码 器 输入 和 输出 的 比特 


输入 比特 编码 器 当前 状态 输出 比特 
0 0 0 0 0 
1 0 0 1 1 
0 0 1 1 1 
1 0 1 0 0 
0 1 0 0 1 
1 1 0 10 
0 1 1 10 
1 11 0 1 


我 们 观察 到 移 位 寄存 器 的 状态 有 2 = 4 种 。 因 此 我 们 可 以 构造 编码 器 如 图 6-4 所 示 的 状态 图 。 
每 个 箭头 所 标的 比特 表示 输入 比特 。 可 以 看 到 同样 的 输入 比特 根据 编码 器 当前 的 状态 其 编码 
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结果 也 不 同 。 这 与 我 们 在 前 面 章节 中 学 习 的 线性 分 组 码 不 同 ， 那 里 输入 的 未 编码 符号 组 ( 信 
息 字 ) 与 编码 后 的 符号 组 〈 码 字 ) 总 是 存在 一 一 对 应 的 关系 。 





图 6-4 例 6.1 中 的 编码 器 的 状态 图 


状态 图 中 所 包含 的 信息 可 以 有 效 地 搬运 到 称 作 网 格 图 的 图 中 。 网 格 图 中 的 节点 是 长 方形 
格子 ， 它 的 右边 是 伪 无 限 的 。 每 一 栏 的 节点 的 数字 是 无 限 的 。 下 面 的 例子 描述 了 网 格 图 。 





例 6.2 例 6.1 中 讨论 的 卷 积 编码 器 的 网 格 图 如 图 6-5 所 示 。 





继续 到 无 穷 





”时 间 轴 
图 6-5 图 6-3 所 表示 的 编码 器 的 网 格 图 


网 格 图 中 的 每 个 节点 表示 移 位 寄存 器 的 一 个 状态 。 因 为 该 编码 器 的 码 率 为 1/2， 编 码 器 每 
次 处 理 一 个 比特 。 输 入 比特 或 为 “0” 或 “1”。 因 此 从 每 个 节点 发 出 两 个 分 支 。 上 面 的 分 支 表 
示 输 入 为 “0” 的 情况 ， 下 面 的 分 支 表示 输入 为 “1” 的 情况 。 一 般 地 ， 我 们 会 在 每 个 分 支 上 
标明 它 对 应 的 输入 符号 。 通 常 那些 从 左上 方 的 节点 开始 并 向 右 移 动 所 不 能 到 达 的 节点 都 不 在 
网 格 图 中 显示 。 对 应 于 某 个 状态 和 某 特殊 输入 比特 ， 编 码 器 将 产生 一 个 输出 。 该 输出 被 写 在 
那个 分 支 的 上 方 。 于 是 网 格 图 给 出 了 一 种 对 输入 数据 流 编码 的 非常 简单 的 方法 。 用 网 格 图 进 
行 编码 的 步骤 如 下 : 

* 我们 从 左上 方 的 节点 开始 〈 因 为 编码 器 的 初始 状态 为 [0 0] ) 。 

“根据 进入 的 是 “0” 还 是 “1”， 我们 沿 上 面 的 或 下 面 的 分 支 到 达 下 一 个 节点 。 

* 编码 器 的 输出 从 所 经 分 支 的 上 方 读 出 。 

。 再 一 次 我 们 需要 根据 进入 的 是 “0” 还 是 “1” 决 定 应 该 从 当前 节点 (状态 ) 沿 上 面 还 是 

下 面 的 分 支 移动 。 

“ 故 编码 过 程 只 是 沿 图 上 分 支 读 出 编码 器 写 在 每 个 分 支 上 方 的 输出 而 已 。 
将 比特 流 1 0 0 1 1 0 1… 编 码 后 得 到 图 6-6 所 示 的 网 格 图 。 从 图 中 可 以 读 出 编码 后 的 序列 为 11 
01 1111 10 10 00 …。 

可 以 证 明 在 编码 后 的 序列 和 网 格 图 的 路 径 之 间 一 一 对 应 。 那 么 译 码 步 难 是 不 是 应 该 在 网 
格 图 中 寻找 最 可 能 的 路 径 呢 ? 答案 是 肯定 的 ， 我 们 在 本 章 中 将 进一步 证 明 这 一 点 。 
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图 6-6 用 网 格 图 对 一 个 输入 序列 编码 





6.3 卷 积 码 的 多 项 式 描述 (解析 表示 ) 


不 同 于 前 两 个 卷 积 码 的 图 形 表示 (状态 图 和 网 格 图 ) ， 卷 积 码 还 有 一 种 很 有 用 的 解析 表示 。 
该 表示 用 到 延迟 算 子 D。 我 们 前 面 看 到 了 字 (向 量 ) 和 多 项 式 之 间 的 一 一 对 应 关系 。 该 延迟 算 
子 使 用 方法 类 似 。 例 如 ， 考 虑 字 10100011， 最 旧 的 数字 在 最 左边 。 读 信息 字 的 解析 表示 1(D) 
将 为 

ID)=1+D:+D:*+D’ (6-2) 
未 知 量 D 是 相对 于 原始 时 间 的 延迟 的 时 间 单 位 数 ， 它 通常 取 自 第 一 个 比特 。 一 般 地 ， 序 列 ii, i， 
记 , 3，… 表 示 为 +iiD+iD?+iD;+…。 

GF(g) 上 一 个 码 字 长 度 k= (Gm 十 1)k。， 分 组 长 度 n = (m+ 十 1)no， 约 东 长 度 v = mk 的 卷 积 码 可 
以 用 有 限 脉 冲 响应 (FIR) 过 滤器 的 集合 进行 编码 ， 每 个 过 滤器 集合 包含 GF(q) 上 的 如 个 FIR 过 
小 器。 编码 器 的 输入 为 bo 个 符号 的 序列 ， 而 输出 为 no 个 符号 的 序列 。 图 6-7 显 示 的 是 一 个 多 = 1 
和 no==4 的 二 元 卷 积 码 的 编码 器 。 图 6-8 表 示 的 是 和 2 和 no= 4 的 卷 积 过 滤器 。 











图 6-7 =1 和 mo 二 4 的 FIR 过 滤器 中 的 卷 积 编码 器 


每 一 个 FIR 过 证 器 可 以 表示 为 次 数 小 于 等 于 mm 的 一 个 多 项 式 ， 输 入 符号 流 也 可 以 表示 为 一 
个 多 项 式 。 于 是 过 滤器 的 运算 就 变 成 了 两 个 多 项 式 的 乘法 。 因 此 编码 器 (以 及 码 ) 可 以 表示 
为 一 个 多 项 式 的 集合 ， 称 为 码 的 生成 多 项 式 (generator polynomial)。 这 个 集合 包含 kono 个 多 
项 式 。 在 这 个 生成 多 项 式 集合 中 的 多 项 式 的 最 大 次 数 为 m。 我 们 提醒 读者 : 一 个 分 组 码 用 单一 
的 生成 多 项 式 表 示 。 因 此 对 一 个 卷 积 码 ， 我 们 可 以 定义 x mm 阶 的 生成 多 项 式 矩 阵 (generator 
polynomial matrix) 如 下 : 


G(D)= Lgi(D)] (6-3) 


6 交卷 琴 码 








图 6-9 码 率 为 1/2 的 卷 积 编码 器 ， 其 中 G(CD)=[D2+D+1 成 +1] 


输出 的 第 一 个 比特 为 a=i_,+i,-1+i,， 第 二 个 比特 为 5= 记 ,十 i， 其 中 i 让 示 提前 ! 个 时 间 单位 
到 达 的 输入 。 设 输入 符号 流 由 多 项 式 表 示 。 我 们 知道 乘 任意 多 项 式 对 应 于 对 其 元 素 的 单一 循 
环 右 移 位 ， 因 此 


gu(D)=D’*+D+1Hg1D)=D’+1 
该 编辑 器 的 生成 多 项 式 和 矩阵 可 和 写 为 : 
G(D)=[D?+D+1 D+1] 


下 面 考虑 如 图 6-10 所 示 的 编码 器 电路 。 
在 这 种 情况 下 ,a=i, b=i,_4+i,。 因此 该 编码 器 的 生成 多 项 式 矩 阵 可 以 写 为 


G(D)}=[1 Dt+ 1] 
广 意 码 字 帧 的 前 比特 (如 = 1) 与 信息 帧 相同 。 因 此 这 是 一 个 系统 卷 积 编码 器 。 
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图 6-10 码 率 为 1/2 的 卷 积 编码 器 ， 其 中 G(D)= [1 Pt+H 


例 6.4 考虑 由 下 图 (图 6-11) 所 示 的 系统 卷 积 编码 器 。 





图 6-11 例 6.4 中 的 码 率 为 /3 的 卷 积 编码 器 
该 编码 器 的 生成 多 项 式 和 矩阵 可 写 为 


-| 812(D) -| 0 ?| 


821(D) 822(D) 8230D) 0 1 0 


通过 观察 可 以 很 容易 写 出 生成 多 项 式 抢 阵 。 在 矩阵 第 三 与 第 / 列 的 元 素 表示 第 ;个 输入 比特 与 
第 个 输出 比特 的 关系 。 要 写 出 矩阵 的 第 ; 行 第 j 列 的 生成 多 项 式 ， 只 要 追踪 从 第 i 个 输入 比特 到 
第 /个 输出 比特 的 路 径 即 可 。 如 果 不 存 在 这 样 的 路 径 ， 则 生成 多 项 式 为 零 多 项 式 ， 正 如 812(D)、 
gz1(D) 和 823(D) 的 情况 。 如 果 只 有 直接 路 径 而 没 任何 延迟 元 素 ， 则 多 项 式 的 值 为 1， 正 如 81(D) 
和 g22(D) 的 情况 。 如 果 从 第 i 个 输入 比特 到 第 /个 输出 比特 的 路 径 涉 及 一 系列 的 内 存 元 素 延迟 
元 素 )， 将 每 一 个 延迟 表示 为 D 的 多 一 次 的 里 ， 如 g813(D) 的 情况 。 注 意 在 生成 多 项 式 集合 中 有 
三 个 生成 多 项 式 为 零 。 当 如 >1 时 ， 生 成 多 项 式 中 有 些 为 零 的 情况 不 常见 。 

我 们 现在 可 以 给 出 一 个 卷 积 编码 器 的 码 字 长 度 、 分 组 长 度 和 约束 长 度 的 正式 定义 。 








定义 6.6 给 定 一 个 者 积 码 的 生成 多 项 式 算 阵 [8i(D)]: 
(1) 码 的 码 字 长 度 为 
上 二 局 max [deg gy(D) +1] (6-4) 


(2) 码 的 分 组 长 度 为 


黎 6 间 准 各 码 143 





n= no max[deg gs(D)+ 1] (6-5) 
(3) 码 的 约束 长 度 为 
ko 
v= Dmaxldeg gy(D)] (6-6) 
i . 
输入 消息 流 m， i, bz, ly, "°°, 认 的 多 项 式 表示 为 (D)=io+iiD+isD?+iD?++ “+i D®, 码 字 


多 项 式 可 以 写 为 CLD)=co+ciD+czD +cD +…+coDo。 编 码 操作 可 以 简单 描述 为 向 量 和 矩阵 
的 乘积 : 
C(D)= I(D)G(D) (6-7) 


或 等 价 地 表示 为 


}) 
cj(D)= Si (D)g1,; (D) (6-8) 


{=1 
观察 到 编码 操作 可 以 简单 描述 为 向 量 矩 阵 的 乘积 ， 容 易 证 明 卷 积 码 属于 线性 码 ( 贸 作 习题 )。 
定义 6.7 奇偶 校 验 矩 阵 H(D) 是 有 (no 一 如 ) 个 行 和 mo 个 列 的 多 项 式 和 矩阵， 满足 


GD HDT=0 (6-9) 
伴随 多 项 式 向 量 ， 一 个 含 (no — ko) 个 分 量 的 行 向 量 ， 可 由 下 式 给 出 : 
s(D) = 2 (DHDT (6-10) 


定义 6.8 一 个 者 积 码 的 系统 编码 器 具有 如 下 形式 的 生成 多 项 式 算 阵 : 
GD) = [| PD (6-11) 


其 中 1 是 操 x 操 阶 单位 矩阵 ，P(D) 为 kox (no 一 ko) 阶 多 项 式 埠 阵 。 一 个 系统 着 积 编码 器 的 奇偶 校 
验 多 项 式 矩 阵 为 


HD = [- P(D |1] (6-12) 
其 中 7 是 (no~— ko) x (no — ko) 阶 单 位 和 矩阵。 于 是 得 到 
G(D)H(D) =0 (6-13) 


定义 6.9 一 个 卷 积 码 若 对 某 个 4a， 其 生成 多 项 式 81(D), 82(D),…, 8no(D) 满足 
GCDlai(D), gl(D), yy éno C2]| =D" (6-14) 
则 该 卷 积 码 称 为 非 灾 难 性 卷 积 码 。 否 则 称 为 灾难 性 卷 积 码 。 
为 了 不 失 一 般 性 ， 我 们 令 a =0， 即 D"= 1。 因 此 寻找 非 灾难 性 卷 积 码 的 工作 就 等 价 于 寻找 
一 组 好 的 互 素 生成 多 项 式 的 问题 。 互 素 多 项 式 可 以 很 容易 通过 计算 机 搜索 找到 。 但 是 ， 困 难 
的 是 如 何 找到 一 组 具有 良好 纠 错 能 力 的 互 素 多 项 式 。 





例 6.5 所 有 系统 码 都 是 非 灾难 性 的 ， 因 为 对 于 它们 有 g1(D)=1， 从 而 
GCDI1, 8z(D) Sm (DY) = 1 
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因此 由 生成 多 项 式 矩 阵 
G(D)=[1 D+1] 


所 表示 的 系统 卷 积 编码 器 为 非 灾 难 性 的 。 
考虑 如 下 的 二 元 卷 积 编码 器 的 生成 多 项 式 甜 阵 
G(D)= [D+1 D4+1] 
我 们 观察 到 对 二 元 编码 器 (mod 2) 有 (D:+1)=D'+(D?+D”)+1=D*+1， 故 GCD[g1(D)， 
82(D)]= D++1 头 1。 因此 这 是 一 个 灾难 性 的 编码 器 。 
下 面 考虑 非 系统 型 二 元 卷 积 编码 器 的 生成 多 项 式 和 矩阵 


G(D)=ID+1 D+D2+1 
] 


这 两 个 生成 多 项 式 是 互 素 的 ， 即 GCD[g1(D), g(D)]= 1， 因 此 ， 这 是 个 非 灾难 性 卷 积 编码 器 。 





在 下 一 节 中 ， 我 们 将 介绍 卷 积 码 的 距离 概念 是 决定 一 个 卷 积 码 能 纠 的 错误 个 数 的 重要 
参数 。 


6.4 卷 积 码 的 距离 概念 


对 分 组 码 ， 两 个 码 字 间 ( 汉 明 ) 距离 的 概念 提供 了 量化 描述 两 个 向 量 之 间 的 差异 及 作为 
一 个 好 码 必 须 如 何 拥 有 最 大 可 能 的 最 小 距离 的 一 种 方法 。 卷 积 码 也 有 一 个 决定 一 个 码 好 的 程 
度 的 距离 的 概念 。 

当 一 个 码 字 从 卷 积 编码 器 送 到 信道 中 去 时 ， 错 误会 不 断 出 现 。 译 码 器 的 工作 就 是 通过 处 理 
接收 到 的 向 量 来 纠 这 些 错误 。 原 则 上 ， 卷 积 码 字 的 长 度 是 无 限 的 ， 但 译 码 判 决 是 根据 码 字 的 
有 限 长 片段 做 出 的 。 译 码 器 可 以 储存 的 符号 的 数量 称 为 译 码 窗 宽度 (decoding window width)。 
不 管 这 些 有 限 片 段 的 大 小 〈 译 码 窗 宽度 ) 如 何 ， 因 为 编码 器 有 记忆 ， 故 原来 的 帧 对 当前 的 帧 
是 有 影响 的 。 一 般 地 ， 当 增加 译 码 鹤 宽 度 时 会 得 到 更 好 的 效果 ， 但 当 最 终 到 达 一 个 峰值 后 效 
果 又 会 回落 。 

多 数 卷 积 码 的 译 码 过 程 是 将 注意 力 放 在 第 一 个 帧 的 错误 上 。 如 果 这 个 帧 可 以 纠 错 并 译 码 ， 
则 在 接收 端 便 得 到 第 一 个 信息 帧 。 这 些 信 息 符 号 对 后 面 信息 帧 的 影响 可 以 从 后 续 码 字 帧 中 计 
算得 到 。 因 此 译 码 第 二 个 码 字 帧 的 问题 与 译 码 第 一 帧 的 情况 相同 。 

我 们 把 这 种 逻辑 进一步 推广 。 如 果 前 /个 帧 被 成 功 译 码 了 ， 则 译 码 第 (f+1) 个 帧 的 问题 
与 译 码 第 一 帧 是 一 样 的 。 但 如 果 中 间 的 帧 没有 得 到 正确 译 码 会 怎么 样 呢 ? 单 一 的 译 码 错 误 事 
件 可 能 会 引发 无 限 多 个 另外 的 错误 ， 那 么 译 码 器 称 为 遭受 错误 传播 。 这 种 译 码 算 法 造成 的 错 
误 传 播 情 况 称 为 普通 错误 传播 。 当 错误 传播 是 由 于 选取 了 灾难 性 的 生成 多 项 式 所 致 时 ， 称 为 
灾难 性 错误 传播 。 

定义 6.10 ” 卷 积 码 的 ! 级 最 小 距离 di 等 于 任意 两 个 有 I 个 帧 且 最 初 的 幅 不 相同 的 初始 码 字 片 
段 之 间 的 最 小 汉 明 距离 。 如 果 != 灵 十 1， 则 这 第 ( 闫 +1) 个 最 小 距离 称 为 码 的 最 小 距离 ， 记 
为 4 ， 其 中 必 为 编码 器 内 存 所 能 储存 的 信息 帧 的 个 数 。 在 文献 中 ， 最 小 距离 也 记 为 ，。 

我 们 这 里 注意 到 卷 积 码 是 个 线性 码 。 因 此 决定 码 的 最 小 距离 的 码 字 之 一 可 以 选取 为 全 零 
码 字 。 于 是 /级 最 小 距离 就 等 于 第 一 个 帧 不 为 零 〈( 即 不 同 于 全 零 帧 ) 且 由 ! 个 帧 组 成 的 码 片段 的 
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最 小 重量 。 
假定 卷 积 码 的 (级 最 小 距离 为 4 ， 当 下 列 条 件 满足 时 该 码 可 以 纠 在 前 ! 个 帧 中 发 生 的 1 个 错误 : 
d 之 2i+1 (6-15) 
下 面 设 !=m+1， 在 此 情况 下 有 d; =d;,, = d"。 下 列 条 件 满足 时 该 码 可 纠 发 生 在 第 一 个 分 组 长 
n= 二 (m 十 1)no 中 的 个 错误 


d’ >21+1 (6-16) 





例 6.6 考虑 例 6.1 (图 6-3) 中 的 卷 积 编码 器 。 该 编码 器 的 网 格 图 如 图 6-12 所 示 。 


继续 到 无 穷 





时 间 寺 
图 6-12 例 6.1 中 卷 积 编码 器 的 网 格 图 
在 这 种 情况 下 di =2, d=3, ds =5, ds =5, …。 我 们 观察 到 当 i> 3 时 有 此 =5。 对 这 个 编码 
器 ， 有 严 =2。 因 此 该 码 的 最 小 距离 为 @ =d =5。 这 个 码 可 以 纠 (d' 一 1)/2=2 个 在 一 个 分 组 长 
度 n= (m+ 1)m=6 中 发 生 的 随机 错误 。 





定义 6.11 一 个 卷 积 码 的 自由 距离 (Free Distance) 为 
dyee = max[di ] (6-17) 
由 此 得 di < di 全 … diwe 


dree 这 一 术语 首先 是 由 Massey 在 1969 年 提出 的 ， 用 来 表示 一 种 距离 ， 它 是 在 卷 积 码 译 码 技 
术 中 发 现 的 一 个 重要 参数 。 因 为 di。。 表 示 的 是 任意 长 (可 能 为 无 限 ) 编码 序列 之 间 的 最 小 距离 
dra 在 文献 中 也 被 记 为 4 。 参 数 dre. 可 以 从 网 格 图 中 直接 计算 。 自 由 距离 dr.. 是 从 全 零 路 径 偏离 ， 
后 来 又 在 网 格 后 面 的 某 一 点 回 到 全 零 路 径 的 这 样 一 条 路 径 的 最 小 距离 ， 如 图 6-13 所 示 。 寻 找 
具有 大 的 最 小 距离 和 自由 距离 的 码 是 一 种 单调 乏味 的 过 程 ， 通 常 由 计算 机 完成 。 已 经 有 些 很 
好 的 技术 可 以 避免 穷 举 搜索 从 而 减少 工作 量 。 目 前 发 现 的 大 多 数 好 的 卷 积 码 都 是 由 计算 机 搜 
索 找 到 的 。 


定义 6.12 ”一 个 卷 积 码 的 自由 长 度 mre。 为 最 小 重量 的 非 堆 卷 积 码 字 的 非 索 片 段 的 长 度 。 因 
此 车 1=ngee、， 则 d 王 dpoe， 且 着 [<nsee， 则 di<dpwe。 在 文献 中 ，hwes 也 记 为 n。。 


146 弟 二 部 分 错误 挫 制 编码 (信道 编码 ) 














一 全 零 路 径 ~ 
O— —O 人 Oo oo 
~ i 
分 离 重新 汇合 
一 忆 , 网 格 中 的 节点 
~ 


图 6-13 自由 距离 dsc 是 指 从 全 零 路 径 偏离 和 后 来 又 回 到 全 老路 径 的 一 条 路 径 的 最 小 距离 





例 6.7 考虑 例 6.1 (图 6-3) 中 的 卷 积 编码 器 。 对 这 个 编码 器 有 4d 一 5。 通 常 有 多 于 一 对 的 路 
径 可 用 于 计算 de。 在 图 6-14 中 用 于 计算 di 的 两 条 路 径 用 双 线 标 出 。 在 这 个 例子 中 ，d = dd。。 





人 @ 9 


继续 到 无 穷 








时 间 加 
图 6-14 在 网 格 图 中 有 多 于 一 对 的 路 径 可 用 于 计算 d。 


该 卷 积 码 的 自由 长 度 为 ns 二 6。 在 本 例 中 ，np, 等 于 码 的 分 组 长 度 n。 一 般 情况 下 它 可 以 比分 组 
长 度 要 长 。 





6.5 生成 函数 


卷 积 码 的 性 能 取决 于 它 的 自由 距离 de。 因 为 卷 积 码 是 线性 码 的 一 个 子 类 ， 编 码 序 列 之 间 
的 汉 明 距离 (Hamming distance) 的 集合 与 编码 序列 同 全 零 序列 之 间 的 距离 的 集合 是 相同 的 。 
因此 为 了 不 失 一 般 性 ， 我 们 可 以 考虑 卷 积 码 相 对 全 零 序 列 的 距离 结构 。 在 本 节 中 我 们 将 学 习 
确定 卷 积 码 自由 距离 dr 的 一 种 有 效 的 方法 。 

要 找到 dr， 我 们 需要 从 全 零 路 径 偏离 出 去 然后 又 回来 的 那些 路 径 的 集合 。 穷 举 搜索 方法 
( 耗 时 ， 不 要 提 否 则 使 人 恼怒 ) 是 确定 网 格 图 中 所 有 可 能 路 径 的 距离 。 求 找 卷 积 码 的 di 的 另 
一 种 方法 用 到 生成 函数 的 概念 ， 它 的 扩展 直接 给 出 所 有 的 距离 信息 。 生 成 函数 可 以 通过 下 面 
的 例子 理解 。 





例 6.8 再 次 考虑 例 6.1 (图 6-3) 中 的 卷 积 编码 器 。 它 的 编码 器 的 状态 图 如 图 6-4 所 示 。 我 们 
现在 构造 修改 的 状态 图 ， 如 图 6-15 所 示 。 

这 个 修改 过 的 状态 图 的 分 支 用 分 支 增益 广 ，i;= 0, 1, 2 标记 ， 其 中 DD 的 笑 为 该 分 支 的 汉 明 重 
量 。 注 意 $o 的 子 回 路 被 忽略 了 ， 因 为 它 对 码 的 距离 性 质 没 有 贡献 。 治 着 这 个 回路 转 只 能 产生 全 
零 序 列 。 注 意 8o 被 分 为 两 个 状态 ， 初 始 状态 和 终点 状态 。 任 何 从 So 分 离 出 去 后 来 又 回 到 So 的 路 
径 可 以 被 认为 等 价 于 在 这 个 修改 过 的 状态 图 中 从 初始 状态 So 开始 ， 穿 越 该 路 径 到 达 终 点 状态 So。 
因此 这 个 修改 过 的 状态 图 包括 了 网 格 图 中 从 全 零 路 径 分 离 后 又 回 到 该 路 径 的 所 有 可 能 的 路 径 。 
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图 6-15 图 6-3 中 的 卷 积 码 的 修改 过 的 状态 图 
我 们 可 以 通过 修改 过 的 状态 图 的 状态 方程 描述 卷 积 码 的 距离 。 这 些 状态 方程 为 





X=D’+X, 
X,= DX'+ DX;, 
X,= DX 
T(D) = D2X; (6-18) 
其 中 X 为 虚构 变量 。 求 解 由 这 些 方程 构成 的 方程 组 ， 可 以 得 到 生成 函数 
Di 
T(D) = T1235 


= D5 +2De +4D’ ++ 2 DS +. 
-= Soap (6-19) 
d=5 


注意 7T(D) 的 表达 式 也 可 以 由 Mason 增 蔓 公 式 (很 容易 地 ) 得 到 ， 它 是 对 学 习 数 字 信 号 处 理 的 
学 生 很 著名 的 公式 。 
从 生成 函数 的 级 数 展开 式 可 以 得 到 下 述 结论 ; 
(1) 从 全 零 路 径 分 离 出 去 后 又 回 到 该 路 径 的 可 能 路 径 有 无 穷 多 个 (这 是 很 直观 的 )。 
(2) 汉 明 距离 为 5 的 路 径 只 有 一 个 ， 汉 明 距 离 为 6 的 路 径 有 两 个 ， 一 般 地 ， 与 全 零 路 径 的 汉 
明 距 离 为 K+ 5 的 路 径 有 2' 个 。 
(3) 该 码 的 自由 汉 明 距离 必 . 为 5。 只 有 一 个 对 应 de 的 路 径 。 例 6.7 清 楚 益 明 了 产生 dr.. 的 两 
条 路 径 。 
现在 介绍 修改 过 的 状态 图 中 的 两 个 新 标记 。 为 了 计算 一 个 给 定 路 径 的 长 度 ， 每 个 分 支 附带 一 
个 标签 ZL。 这 样 ， 当 我 们 每 次 沿 一 个 分 支 走 的 时 候 ， 会 增加 路 径 长 度 计数 器 的 值 。 我 们 还 对 每 个 
分 支 另 加 标签 5， 用 来 计算 与 修改 过 的 状态 图 中 每 个 分 支 相关 的 输入 比特 的 汉 明 重量 ( 见 图 6-16)。 
这 种 情况 下 的 状态 方程 为 
P= DL + LI, 
为 =DLX + DZ 局 
% = DLIX, + DLIX 


进而 扩展 生成 函数 为 
7(D) 一刀 ?7 和 (6-20) 
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图 6-16 用 于 确定 扩张 生成 函数 的 修改 状态 图 


同时 解 这 些 方程 我 们 得 到 
T(D,L, 1)= DL 
1- DL(L+ DI 
= D5737+ DSLACL+ DT? + +DISDHECL EIT... (6-21) 


从 扩展 生成 函数 的 级 数 展开 式 中 我 们 可 进一步 得 到 下 述 结论 : 

(1) 汉 明 距离 为 5 的 路 径 的 长 度 等 于 3。 

(2) 对 应 于 这 个 路 径 的 输入 序列 的 重量 等 于 1。 

(3) 与 全 零 路 径 的 汉 明 距离 等 于 6 的 路 径 有 两 个 ， 它 们 当中 一 个 长 度 为 4， 另 一 个 长 度 等 于 
5 (观察 和 式 的 第 二 项 中 的 短 )。 这 两 个 路 径 的 输入 序列 的 重量 都 为 2。 





在 下 一 节 中 ， 我们 学 习 卷 积 码 的 矩阵 描述 ， 它 比 线性 分 组 码 的 矩阵 描述 要 复杂 些 。 


6.6 卷 积 码 的 矩 阵 描述 


一 个 卷 积 码 可 以 描述 为 由 无 数 个 无 限 长 码 字 构 成 的 ， 它们 (从 网 格 图 中 看 到 ) 属于 线性 
码 。 它 们 可 以 用 一 个 无 限 大 的 生成 矩阵 来 描述 。 正 如 所 预料 的 ， 卷 积 码 的 矩阵 描述 比 线性 分 
组 码 的 矩阵 描述 要 乱 得 多 。 

设 一 个 卷 积 码 的 生成 多 项 式 表示 为 


gy(D) = 了 5 以 (6-22) 
为 了 得 到 生成 矩阵 ， 将 系数 sz 排 成 矩阵 形式 。 对 每 一 个 !， 记 C 为 操 x no 阶 和 矩阵 
G1= lgy] (6-23) 
则 卷 积 码 缩短 成 一 个 分 组 长 度 为 上 的 分 组 码 时 的 生成 矩阵 为 
G GG GG … Ci 
0 G G :. Gi 
GT=I0 0 G … 6G,» (6-24) 
0 0 0 .. 6 


其 中 60 为 ko x mo 阶 零 矩阵 ，z 为 用 来 生成 该 码 的 移 位 寄存 器 的 长 度 。 该 卷 积 码 的 生成 矩阵 为 
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一 CC 


GG G GG :: 6G, 0 0 0 0 
0 G GG :… CC 0 0 0 
G= " - 
0 0 GO G2 Gl G 0 0 (6-25) 
该 矩阵 向 右 无 限 伸延 。 对 于 系统 卷 积 码 ， 其 生成 矩阵 可 以 写 为 
TRORIOBRIMO0 P00 00 0 
0 01 RI0OR'IM0P,'0 Pi0 0| 
1 1 上 1 1 1 1 
Ce 0 0 0 0 ‘1 R110 Pp,, 10 PP, 0 了 ， (6-26) 
: :el 10 P,,10 Pil 
' ' 1 : 10 ' 
| 上 1 上 | | 
H | 1 上 | | 


忆 


1 

1 

1 。 
1 

1 

1 


其 中 7 为 后 x 如 阶 单位 矩阵， 0 为 x 阶 零 矩阵 ， Po, P,, P,, ..., P ,为 ko x (no — ko) 阶 和 矩阵 。 于 是 
奇偶 校 验 矩 阵 可 写 为 


万 = : 
P 0 Pr 0 PT7， pr -I 
了 人 (6-27) 
本 0 | 
pT 





例 6.9 ”考虑 图 6-17 所 示 的 卷 积 编码 器 。 我 们 首先 写 出 该 编码 器 的 生成 多 项 式 矩 阵 。 要 做 到 
这 一 点 ， 我 们 只 要 一 个 接 一 个 地 计数 从 输入 到 输出 的 延迟 就 行 了 。 得 到 的 生成 多 项 式 矩阵 为 


G D+D? D? D+D? 
(D=| pp pp DD 


生成 多 项 式 为 811(D)=D+D?，g12(D)= DD’， 
813(D)=D+D’, ga(D)=D’, g2(D)=D, 
8g23(D)=D, 

为 了 写 出 矩阵 Go， 看 一 下 生成 多 项 式 
中 的 常数 项 〈 疡 的 系数 ) 。 因 为 在 所 有 生成 
多 项 式 中 都 没有 常数 项 ， 


| 


i 








接 下 来 ， 我 们 要 写 出 矩阵 G,， 看 一 下 
生成 多 项 式 中 的 系数 。 和 矩阵 G 第 1 行 第 1 
6-17 码 率 为 23 的 卷 积 
列 的 项 对 应 于 gu(D) 中 D! 的 系数 ， 惩 阵 第 1 图 6-17 码 率 为 23 的 卷 积 编码 器 
行 第 2 列 的 项 对 应 于 gi2(D) 中 DD! 的 系数 ， 依 此 类 推 .于 是 
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101 
6.=|o 1 中 


类 似 地 ， 可 以 写 出 


现在 可 以 写 出 生成 矩阵 : 





下 面 的 任务 是 了 解 一 种 卷 积 码 的 有 效 译 码 方法 。 我 们 将 详细 讨论 一 种 很 流行 的 译 码 方法 ， 
维特 比 (Viterbi) 译 码 技术 。 


6.7 卷 积 码 的 维特 比 译 码 


卷 积 码 有 三 种 重要 的 译 码 技术 : 序列 译 码 、 门 限 译 码 和 维特 比 译 码 。 序 列 译 码 技 术 是 
Wozencraft 在 1957 年 提出 来 的 。 序 列 译 码 的 优点 是 它 能 很 好 地 处 理 约束 长 度 很 长 的 卷 积 码 ， 
但 它 的 译 码 时 间 是 可 变 的 。 门 限 译 码 ， 也 称 为 择 多 逻辑 译 码 ， 是 Massey 于 1963 年 在 他 在 MIT 
的 博士 论文 中 提出 的 。 门 限 译 码 器 是 卷 积 码 的 第 一 个 商业 化 生产 的 译 码 器 。 维 特 比 译 码 是 
Andrew J. Viterbi 在 1967 年 研发 的 ， 在 20 世 纪 70 年 代 末 已 变 成 卷 积 码 的 主导 技术 。 维 特 比 译 码 
具有 下 列 优点 : 

(1) 比特 错误 方面 的 表现 令 人 满意 。 

(2) 运行 速度 快 。 

(3) 容易 实现 。 

(4) 成 本 低 。 

门限 译 码 因 其 比特 错误 方面 表现 较 差 而 变 得 不 流行 。 它 在 概念 上 和 实践 上 最 接近 分 组 码 
的 译 码 ， 而 且 它 需要 计算 一 个 伴随 式 集合 ， 就 像 分 组 码 的 情况 一 样 。 在 这 种 情况 下 ， 伴 随 式 
是 个 序列 ， 因 为 信息 和 校 验 数 字 以 序列 形式 出 现 。 

维特 比 译 码 的 优点 是 有 着 固定 译 码 时 间 。 它 很 适合 干 译 码 器 的 硬件 实现 。 但 它 的 计算 量 
以 约束 长 度 的 一 个 函数 为 指数 增长 ， 因 此 在 实际 中 它 通常 限定 约 东 长度 为 v= 9 或 更 小 。 到 
2000 年 初 ， 有 些 主要 的 公司 声明 他 们 生产 出 了 v=9 的 维特 比 译 码 器 。 其 速度 可 以 达到 2Mbps。 

自从 维特 比 提 出 他 的 算法 以 来 ， 其 他 研究 人 员 通 过 寻找 好 的 卷 积 码 ， 探 求 该 技术 的 性 能 
局 限 性 ， 用 不 同 的 译 码 器 设计 参数 来 优化 该 技术 在 硬件 和 软件 上 的 实现 ， 进 而 把 他 的 工作 做 
了 进一步 推广 。 维 特 比 译 码 算法 还 用 于 对 网 格 编码 调制 (TCM) 的 译 码 ， 这 种 技术 用 于 电话 
线 连接 的 调制 解 调 器 中 将 高 速率 的 数据 挤 压 后 通过 带宽 为 3kHz 的 模拟 电话 线 传送 。 在 下 一 章 
中 我 们 将 介绍 更 多 TCM 的 内 容 。 多 年 来 ， 具 有 维特 比 译 码 技术 的 卷 积 编码 成 为 空间 通信 的 主 
导 FEC (前 向 纠 错 ) 技术 ， 特 别 是 在 定点 卫星 通信 网 中 ， 如 VSAT (微小 孔 端 ) 网 。VSAT 网 


锣 6 蓝 准 积 码 151 





中 最 常用 的 变 体 是 码 率 为 1/2 的 卷 积 编码 ， 所 用 码 的 约束 长 度 为 v=7。 用 这 个 码 ， 我 们 可 以 传 
输 二 元 的 或 四 元 的 相 移 键 控 (BPSK 或 QPSK) 信号 ， 比 无 编码 时 至 少 要 少 5dB 的 功率 。 也 就 
是 说 会 比 这 个 增加 三 倍 以 上 的 瓦特 数 。 这 对 降低 发 生 器 和 天 线 成 本 或 在 同样 发 射 器 功率 和 天 
线 大 小 一 样 的 情况 下 提高 数据 传输 率 很 有 用 。 

我 们 现在 将 考虑 怎样 用 维特 比 译 码 算法 来 对 卷 积 码 译 码 。 这 里 用 的 术语 是 ， 我 们 有 一 个 
消息 向 量 i， 编 码 器 由 此 生成 一 个 码 向 量 c<， 然 后 通过 离散 无 记忆 信道 发 送 。 接 收 到 的 向 量 r 可 
能 与 传输 的 向 量 c 不 同 (除非 信道 是 理想 的 或 我 们 很 幸运 ! )。 译 码 器 需要 对 消息 向 量 做 出 估 
算 。 因 为 码 向 量 和 消息 向 量 之 间 是 一 一 对 应 的 ， 译 码 器 要 对 码 向 量 做 出 估算 。 

优化 译 码 将 导致 最 小 的 译 码 错误 概率 。 设 p(rle) 为 在 发 送 的 码 字 为 c 时 r 被 收 到 的 条 件 概率 。 
我 们 可 以 说 最 优 译 码 器 就 是 最 大 似 然 译 码 器 ， 其 判决 准则 是 选取 使 log 似 然 函 数 In p(rlc) 的 值 
最 大 的 那个 码 向 量 估 值 G。 

如 果 我 们 考虑 BSC， 其 中 c 和 r 中 的 向 量 元 素 记 为 c, 和 r;， 则 我 们 有 


N 
plrle)=T] Plc) (6-28) 
i=] 
故 log 似 然 函 数 等 于 
N (6-29) 
In pl(r|c)= > ln pe) 
i=1 
我 们 假设 
_ p, A 
pulo -| (6-30) 


如 果 我 们 假定 接收 到 的 向 量 与 传输 的 向 量 恰好 有 4 个 位 置 不 同 (向 量 c 与 r 之 间 的 汉 明 距 
离 )， 我 们 可 以 将 log 似 然 函 数 重新 写 为 
in brlc)= dlnp+(N- ad)ln(l -有 


_ p _ _ 
-dh (Te) Nn 月 (6-31) 





我 们 可 以 假设 概率 p< 1/2， 而 且 我 们 注意 到 N ln (1 一 p) 对 所 有 码 向 量 都 是 个 常数 。 现 在 
我 们 可 以 宣布 一 个 二 元 对 称 信道 的 最 大 似 然 译 码 规则 就 是 选取 码 向 量 的 估 值 使 得 接收 的 向 量 
7 与 传输 的 向 量 c 之 间 的 汉 明 距离 最 小 。 

对 在 有 单 面 噪声 功率 No 的 加 性 白 高 斯 噪声 (AWGN) 信道 中 的 软 判决 译 码 ， 其 似 然 国 数 为 


2 
_ ls-d 


An 





1 
故 AWGN 信 道中 软 判 决 译 码 的 最 大 似 然 译 码 规则 就 是 使 "和 c 之 间 的 欧 几 里 德 距离 平方 最 小 。 
这 个 欧 几 里 德 距离 平方 由 下 式 给 出 : 
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le) = Pl (633) 


维特 比 译 码 的 工作 方式 是 选取 离 接收 的 序列 最 近 的 测试 信息 序列 。 这 里 的 汉 明 距离 用 来 
度量 两 个 序列 的 近似 程度 。 维 特 比 译 码 过 程 可 很 容易 通过 下 面 的 例子 理解 。 





例 6.10 考虑 图 6-18 中 给 出 的 码 率 为 V3 的 卷 积 码 及 其 对 应 的 网 格 图 。 

假设 传输 的 序列 为 全 零 序 列 。 设 接收 的 序列 为 

r=010000100001 … 
因为 这 是 个 码 率 为 1/3 的 编码 器 ， 我 们 首先 将 接收 的 序列 以 三 个 比特 为 一 组 进行 分 段 (因为 
no 二 3)， 即 

r=010 000 100 001 … 
现在 的 任务 是 在 网 格 中 找到 最 可 能 的 路 径 。 因 为 网 格 中 的 路 径 必须 要 通过 一 些 节点 ， 我 们 将 试 
图 找 出 网 格 中 哪些 节点 属于 一 个 最 可 能 的 路 径 , 在 任何 时 候 , 每 个 节点 都 有 两 个 进入 分 支 (一 )。 
我 们 只 需 确 定 这 两 个 分 支 中 的 哪个 属于 一 个 较 可 能 的 路 径 〈 从 而 抛弃 另 一 个 ) 。 我 们 根据 一 些 
尺度 ( 汉 明 距离 ) 作 此 决定 。 这 样 的 话 我 们 在 每 个 节点 只 保留 一 条 路 径 和 该 路 径 的 尺度 。 在 这 





. 继续 到 无 穷 


011 


了 时间 铀 
图 6-18 码 率 为 /3 的 卷 积 编码 器 及 其 网 格 图 
让 我 们 考虑 网 格 中 第 一 个 分 支 ， 它 被 标记 为 000。 我 们 算出 这 个 分 支 和 接收 到 的 第 一 个 帧 
片段 010 之 间 的 汉 明 距离 4(000, 010) = 1。 故 这 第 一 个 分 支 的 尺度 为 1!1， 称 为 分 支 尺度 (Branch 
Metric)。 从 起 始 节点 到 达 最 上 面 的 节点 后 ， 读 分支 累 加 尺度 = 1。 接 下 来 我 们 将 接收 到 的 帧 
片段 同 下 面 的 路 径 比 较 ， 它 在 最 上 面 的 第 二 个 节点 结束 。 这 种 情况 下 汉 明 距离 为 4(111, 010)= 
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2。 因 此 这 第 一 个 分 支 的 尺度 为 2。 在 每 一 个 节点 我 们 写 下 路 径 累 加 的 尺度 ， 称 为 路 径 尺度 
(Path Metric)。 路 径 尺 度 在 图 6-19 的 网 格 图 中 用 圈 起 来 的 数字 标记 。 在 接 下 来 的 译 码 进程 中 ， 
当 两 个 路 径 在 每 一 个 节点 结束 时 ， 我 们 将 保留 那个 尺度 值 较 小 的 路 径 。 





时 间 轴 
图 6-19 维特 比 译 码 第 一 步 后 的 路 径 尺 度 
我 们 现在 转 到 网 格 的 下 一 步 。 分 支 之 间 的 充 明 距离 是 根据 接收 到 的 第 二 个 帧 000 计 算 的 。 
从 最 上 面 的 节点 发 出 的 两 个 分 支 的 分 支 尺度 为 0 和 3。 从 第 二 个 节点 发 出 的 两 个 分 支 的 分 支 尺 
度 为 2 和 1。 总 的 路 径 尺度 在 网 格 图 中 用 圈 起 来 的 数字 表示 ， 如 图 6-20 所 示 。 
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图 6-20 维特 比 译 码 第 二 步 后 的 路 径 尺度 


现在 进行 下 一 步 。 我 们 再 一 次 计算 分 支 尺 度 并 把 它们 加 到 相应 的 路 径 尺 度 以 得 到 一 个 新 
的 路 径 尺度 。 在 这 一 步 ， 考 虑 最 上 面 的 节点 。 有 两 个 分 支 在 这 一 节点 结束 。 从 前 一 步 中 的 节 
点 1 过 来 的 路 径 具 有 路 径 尺度 2， 而 从 前 一 步 中 的 节点 2 过 来 的 路 径 具 有 路 径 尺度 6。 保 贸 具 有 
低 路 径 尺 度 的 路 径 ， 而 丢弃 另 一 个 。 图 6-21 所 示 的 网 格 图 中 给 出 了 留存 下 来 的 路 径 〈 双 线 ) 
和 路 径 尺度 〈 圈 起 来 的 数字 ) 。 维 特 比 称 这 些 留 存 下 来 的 路 径 为 幸存 者 〈Survivor) 。 值 得 注意 
的 是 节点 4 收 到 两 个 具有 相同 路 径 尺度 的 路 经。 我 们 随意 地 选取 它们 中 的 一 个 作为 留存 下 来 的 
路 径 (用 找 硬 币 决 定 )。 

我 们 在 下 面 的 步 又 中 继续 维特 比 译 码 过程 。 最 终 的 分 支 尺度 和 路 径 尺度 在 图 6-22 中 显示 
出 来 。 最 后 我 们 选取 尺度 最 小 的 路 径 。 该 路 径 对 应 于 全 零 路 径 ， 因 此 译 码 过 程 能 够 正确 对 接 
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收 到 的 向 量 译 码 。 
该 码 的 最 小 距离 为 4 =6。 它 能 纠 的 每 个 帧 长 度 上 的 错误 数 为 


上 一 |(d -1)/2)| = [6- 1/2| =2 


在 这 个 例子 中 ， 每 个 帧 长 度 所 含 的 最 大 错误 数 为 1 。 














时 间 轴 
图 6-21 维特 比 译 码 第 三 步 后 的 路 径 尺度 
0 1 (CD 0 1 2 1 » (3) 
合 外 @ 








时 间 轴 
图 6-22 维特 比 译 码 第 四 步 后 的 路 径 尺 度 





考虑 在 第 r 个 帧 时 间 所 残存 的 路 径 集 合 。 如 果 所 有 的 残存 路 径 都 经 过 相同 的 节点 ， 则 对 最 
可 能 传输 的 路 径 的 判决 可 以 在 那些 共同 节点 处 做 出 。 要 建立 一 个 实际 的 维特 比 译 码 器 ， 我 们 
必须 选取 一 个 译 码 窗 宽度 w， 它 通常 是 分 组 长 度 的 好 几 倍 。 在 一 个 给 定 的 帧 时 间 f， 译 码 器 检 
查 所 有 存活 路 径 看 它们 是 否 在 第 一 个 分 支 相 一 致 。 这 个 分 支 确定 了 一 个 译 过 码 的 信息 帧 并 从 
译 码 器 中 输出 。 在 前 面 关 于 维特 比 译 码 的 例子 中 我 们 看 到 ， 当 译 码 器 达到 第 四 帧 时 ， 所 有 的 
存活 路 径 都 在 它们 第 一 个 译 码 分 支 相 一 致 〈 称 为 良 定义 判决 )。 译 码 器 丢弃 第 一 个 分 支 〈 当 送 
出 译 过 码 的 帧 之 后 ) 并 从 接收 到 的 字 中 获取 一 个 新 的 着 用 于 下 一 轮 选 代 。 如 果 所 有 存活 路 径 
又 一 次 通过 最 老 的 存活 帧 的 同一 个 节点 ， 则 这 个 信息 帧 又 被 译 码 了 。 该 过 程 就 这 样 无 限 地 继 
续 下 去 。 

如 果 选 取 充 分 宽 的 译 码 窗 w， 则 良 定义 判决 几乎 总 可 以 用 得 上 。 一 个 设计 较 好 的 码 将 导致 
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很 高 的 正确 详 码 概率 。 注 意 一 个 设计 较 好 的 码 是 指 对 某 个 特殊 信道 而 言 的 。 由 信道 产生 的 随 
机 错误 应 该 在 码 的 纠 错 能 力 范围 之 内 。 维 特 比 译 码 器 可 以 看 成 是 一 个 滑动 窗 ， 从 这 个 窗 中 可 
以 看 到 网 格 〈 见 图 6-23)。 当 要 处 理 新 的 帧 时 ， 该 窗 就 往 右 滑 动 。 透 过 该 窗 可 以 看 到 在 网 格 中 
那些 标记 出 的 存活 的 路 径 。 随 着 窗 的 请 动 ， 在 其 右边 出 现 新 的 节点 ， 有 些 存活 的 路 径 延 伸 到 
这 些 新 的 节点 ， 而 其 他 的 路 径 就 消失 了 。 


译 码 窗口 





图 6-23 维特 比 译 码 器 就 像 一 个 请 动 窗 从 中 可 以 看 到 网 格 


如 果 存 活 的 路 径 并 不 从 同一 个 节点 通过 ， 我 们 把 它 标记 为 译 码 失败 (decoding failure)。 
译 码 器 可 以 打破 常规 用 任意 规则 。 在 一 定 程度 上 译 码 器 变 成 不 完备 译 码 器 。 让 我 们 回 到 原来 
的 例子 。 在 第 四 步 ， 那 些 存活 的 路 径 完全 可 以 被 选 为 图 6-24 所 示 的 情况 ， 那 将 致使 译 码 器 变 
成 不 完备 译 码 器 。 

也 可 能 在 某 些 情况 下 译 码 器 做 出 良 定义 判决 ， 但 结果 是 错 的 ! 如 果 发 生 了 这 种 情况 ， 该 
译 码 器 无 法 知道 它 做 出 了 错误 判决 。 在 这 种 错误 判决 的 基础 上 ， 该 译 码 器 将 做 出 更 多 的 错误 
判决 。 但 是 ， 如 果 码 不 是 灾难 性 的 ， 该 译 码 器 将 从 错误 中 恢复 正常 。 
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图 6-24 在 维特 比 译 码 过 程 中 不 完备 译 码 器 的 例子 


下 一 地 讨论 的 是 一 些 卷 积 码 的 距离 界 (distance bound) 。 这 些 界 将 有 助 于 对 不 同 卷 积 码 方 
案 进 行 比较 。 


6.8 卷 积 码 的 距离 界 


当 卷 积 码 的 码 率 为 R = ko /m， 码 约 东 长 度 为 *=mko 时 ， 其 距离 上 界 可 根据 最 小 距离 算出 。 
这 些 界 来 源 于 分 组 长 度 对 应 于 约束 长 度 的 分 组 码 的 界 ， 而 且 它 们 在 本 质 上 也 是 相同 的 。 但 正 
如 我 们 将 要 看 到 的 ， 这 些 界 不 是 很 紧 。 这 些 界 只 给 我 们 关于 码 有 多 好 的 大 致 概念 。 这 里 我 们 
对 二 元 码 的 情况 给 出 一 些 界 (没有 证 明 )。 


756 党 二 序 分 “ 鲁 记 挫 制 编码 【信道 编码 ) 


对 码 率 R 和 约束 长 度 "， 设 4 为 满足 下 式 的 最 大 整数 : 


al 已 <1_R (6-34) 


则 至 少 有 一 个 最 小 距离 4 满足 上 式 的 二 元 卷 积 码 存在 。 这 里 H(x) 是 熟悉 的 对 二 元 符号 的 灶 函 数 
H(x)= -xlogs x— (1 -Wlogs (1 -人 0O<xsl 
对 一 个 R= Lao 的 二 元 码 ， 其 最 小 距离 d, 满 足 
dnin < [(nov + no)/2] (6-35) 


其 中 | 相 表 示 小 于 或 等 于 /的 最 大 整数 。 
dee 的 一 个 上 界 由 下 式 给 出 (Heller，1968) 





. 27 . 
dye = mp || (6-36) 


要 计算 该 上 界 ， 等 式 右 边 应 该 对 j 不 同 的 整数 值 绘图， 该 上 界 就 是 这 个 图 的 最 低 点 的 值 。 





例 6.11 让 我 们 将 距离 界 用 到 例 6.1 所 给 的 卷 积 译 码 器 。 首 先 用 式 (6-34) 所 给 的 界 。 对 于 这 
个 译 码 器 ,=1, no=2, R=1/2 且 v=2。 


才 运 上 H(d/4)<1-R=1/2=H (4d/4)<0.5 


而 我 们 有 
H(0.11)= -0.11 logz 0.11— (1 -0.11) log, (1 — 0.11) = 0.4999, 且 
H(0.12) = ~ 0.121og, 0.12 - (1 - 0.12) log, (1 - 0.12) = 0.5294 


故 得 d/4 所 0.11 或 d 志 0.44。 

满足 这 个 界 的 最 大 整数 为 4=0。 这 表明 至 少 有 一 个 最 小 距离 4=0 的 二 元 卷 积 码 存在 。 这 
一 声明 设 有 说 明 什 么 问题 〈 即 该 界 对 这 个 编码 器 不 够 精确 )。 

下 面 考虑 图 6-25 所 示 的 编码 器 。 





图 6-25 例 6.11 的 卷 积 编码 器 


对 这 个 编码 器 有 
G(D)=[1 D+D?: 1+D’], 
hh=1,m=3,R=1/3 有 H v=2. 
可 志 =H(d/6)<1- R=2/3= AH(d/6)< 0.6666 
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而 我 们 有 


H(0.17) = - 0.17 logs 0.17 - (1 - 0.17) logs (1 ~ 0.17) = 0.6577, 且 
H(0.18) = - 0.18 log, 0.18 - (1 - 0.18) log, (1 - 0.18) = 0.6801 
故 得 d/6 0.17 或 4d 1.02。 
满足 这 个 界 的 最 大 整数 为 4= 1。 这 表明 至 少 有 一 个 最 小 距离 4 = 1 的 二 元 卷 积 码 存在 。 这 
是 一 个 很 松 的 界 。 
下 面 我 们 求 式 (6-36) 给 出 的 dr 的 Heller 界 ， 函 数 
d( 人 = |(mw/2)(2/(27 -Djw+7-9| 


对 j 取 不 同 整数 值 时 的 平面 图 如 图 6-26 所 示 。 








图 6-26 Heler 界 平面 图 
我 们 得 到 dm 和 6， 这 是 一 个 很 好 的 上 界 ， 正 如 我 们 从 该 译 码 器 的 网 格 图 (图 6-26) 所 看 
到 的 。di=6 的 实际 值 可 以 从 编码 器 的 网 格 图 中 看 出 。 用 来 计算 di 的 两 个 路 径 在 图 6-27 中 用 
双 线 表示 出 来 。 在 这 个 例子 中 ， dnin = djree = 06 


继续 到 无 穷 





时 间 轴 
图 6-27 图 6-25 中 的 卷 积 编码 器 的 网 格 图 





6.9 性能 界 
卷 积 码 的 有 用 的 性 能 衡量 指标 之 一 是 比特 错误 概率 P,。 比 特 错 误 概率 或 比特 错误 率 定义 
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为 每 个 信息 比特 中 译 码 信息 比特 错误 的 期 望 值 。 通 常 计算 错误 概率 的 一 个 上 界 而 不 是 得 到 P， 
的 具体 表达 式 。 我 们 将 首先 确定 第 一 事件 错误 概率 (First Event Error Probability) ， 它 是 在 网 
格 图 中 那些 给 定 节点 第 一 次 与 全 零 (正确 ) 路 径 汇 合 的 序列 错误 概率 。 
因为 卷 积 码 是 线性 的 ， 我 们 假设 被 传送 的 是 全 零 码 字 。 如 果 译 码 器 没有 选 全 零 路 径 而 选 
了 一 个 错误 路 径 c'， 它 就 制造 了 一 个 错误 。 假 设 c 与 全 零 路 径 有 d 个 比特 不 同 ， 则 如 果 发 生 了 多 
于 | 人 | 个 错误 ， 最 大 似 然 译 码 器 就 做 出 了 错误 判决 ， 基 中 1x 表示 小 于 或 等 于 x 的 最 大 整数 。 
若 信道 转移 概率 为 p， 则 出 错 概率 的 上 界 如 下 
p<[2p0-p] (6-37) 


也 可 能 有 许多 距离 不 同 的 路 径 在 给 定 节 点 第 一 次 与 正确 路 径 汇 合 。 则 第 一 事件 错误 概率 
的 上 界 可 以 通过 所 有 这 些 可 能 路 径 错 误 概 率 的 和 来 获得 ， 





P< Yapb, (6-38) 
d=d fer 
其 中 a 为 与 全 零 码 字 的 汉 明 距离 为 4 的 码 字 的 个 数 。 比 较 式 (6-19) 和 式 (6-38) 可 得 到 
P<T(D) Da 人 (6-39) 


现在 比特 错误 概率 P, 可 以 由 下 面 的 方法 得 到 。 通 过 对 式 (6-37) 中 的 错误 概率 Py 和 由 相应 
错误 路 径 导 致 的 错误 译 码 信 息 比特 数 n 构 成 的 每 一 个 对 进行 加 权 ， 可 以 得 到 P, 的 一 个 上 界 。 对 
码 率 为 Kn 的 译 码 器 ，P, 的 平均 值 为 








| = 
已 < 天 之 aumu 放 (6-40) 
d=d fee 
可 以 证 明 
a7(D,7 = 
a -en (6-41) 
1=1 d=d fee 
因此 
1 97 (D,7) 
VER 7 | par (6-42) 
T=1,D=2Vp(1- p) 





6.10 著名 的 好 卷 积 码 


本 节 我 们 将 学 习 一 些 著名 的 好 卷 积 码 。 到 目前 为 止 ， 人 们 只 知道 少量 的 构造 类 卷 积 码 。 
不 存在 一 类 与 纠 ! 个 错误 的 BCH 码 有 可 比 代数 结构 的 卷 积 码 。 也 没 找到 长 约束 长 度 的 卷 积 码 的 
构造 方法 。 这 里 给 出 的 大 多 数码 都 是 由 计算 机 搜索 发 现 的 。 
具有 最 大 自由 距离 的 短 卷 积 码 的 开创 性 工作 是 由 Ddenwalder (1970) 和 Larsen (1973 ) 
进行 的 。 表 6-2、6-3 和 6-4 分 别 列 出 了 码 率 为 /2、1/3 和 1/4 这 样 的 一 些 码 。 它 们 的 生成 器 以 序 
列 1,y 中 ,yp … 的 形式 给 出 ， 其 中 
gD)=1+yYOD+ YD + 十 YLDA (6-43) 
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例如 R= 1/2, v= 4 的 编码 器 生成 器 的 八进制 表示 为 15 和 17 ( 见 表 6-2)。 八 进 制 15 可 以 解释 为 
15=1-5=1--101。 因 此 


gD=1+(0)D+OP+(DDP=1+D+D 
类 似 地 ， 
17=1-7=1-—11l 
因此 
gD=1+(DD+DP+DP=1+D+P+P， 从 而 
GD=[1+D+DI+D+D+D) 


表 6-2 码 率 为 1/2 的 最 大 自由 距离 码 


非 灾 难 性 的 





灾难 性 的 


生成 【人 进 全 





下 面 我 们 学 习 一 类 有 趣 的 码 ， 称 为 Turbo 码 ， 它 介 于 线性 分 组 码 和 卷 积 码 之 间 。 
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6.11 Turbo 码 


Turbo 码 是 1993 年 在 国际 通信 学 术 会 议 (International Conference on Communications, ICC ) 
上 由 Berrou、Glavieux 和 Thitimajshima 在 他 们 的 论文 “接近 Shannon 限 的 纠 错 编码 和 译 码 一 一 
Turbo 码 ”中 介绍 的 。 在 这 篇 论文 中 ， 他 们 引用 了 当 E/No 为 0.7dB 时 只 用 1/2 的 码 率 就 使 BER 达 
到 10” 的 性 能 ， 从 而 产生 了 在 该 领域 的 巨大 兴趣 。 在 SNR 很 低 的 情况 下 Turbo 码 性 能 良好 。 在 
SNR 很 高 的 情况 下 ， 某 些 传统 的 码 如 Reed-Solomon 码 有 着 与 Trubo 码 可 比 的 或 更 好 的 性 能 。 

尽管 Turpo 码 被 当做 分 组 码 考 虑 ， 他 们 并 不 完全 像 分 组 码 那 样 运作 。Turbo 码 实际 是 分 组 
码 和 卷 积 码 的 准 混合 物 。 它 们 像 分 组 码 一 样 要 求 在 编码 前 要 给 出 整个 组 ， 但 它们 不 是 从 一 个 
方程 组 中 计算 奇偶 校 验 比特 ， 而 是 像 卷 积 码 那样 用 移 位 寄存 器 。 

Turbo 码 用 到 至 少 两 个 卷 积 部 件 编码 器 和 两 个 最 大 经 验 (MAP) 算法 部 件 译 码 器 。 这 种 做 
法 称 为 级 联 。Turbo 码 有 三 种 不 同 的 排列 ， 分 别称 为 并 行 级 联 卷 积 码 (Parallel Concatenated 
Convolutional Code ，PCCC) 、 串 行 级 联 卷 积 码 (Serial Concatenated Convolutional Code， 
SCCC) ， 和 混杂 级 联 卷 积 码 (Hybrid Concatenated Convolutional Code, HCCC)。 通 常 Turbo 码 
排列 为 PCCC。 图 6-28 给 出 的 一 个 Turbo 码 的 PCCC 编 码 器 显示 两 个 编码 器 并 行 工作 。 





图 6-28 码 率 为 /3 的 PCCC Turbo 码 编码 器 框图 


定义 6.13 交织 器 i 是 对 具有 NN 个 输入 符号 dl, d,,…, dw 的 数据 序列 进行 顺序 改变 的 置换 i 一 70(i)。 

如 果 输 入 数据 序列 是 d =[di, d;…, dy 1， 则 置换 后 的 数据 序列 是 4P， 其 中 P 是 一 个 每 行 和 每 
列 均 只 有 一 个 1， 剩 余 位 置 为 0 的 交织 矩阵 。 每 一 个 交织 器 都 有 一 个 对 应 的 逆 交 织 器 x'， 其 作 
用 于 一 个 已 交织 后 的 数据 序列 ， 从 而 恢复 成 此 序列 之 前 的 顺序 。 逆 交 织 和 矩阵 是 交织 矩阵 的 一 
种 变换 声 。 

Turbo 码 性 能 良好 的 一 个 原因 是 它们 产生 重量 大 的 码 字 。 例 如 如 果 输 入 序列 (Ul) 原来 重 
量 很 低 ， 系 统 (X:) 和 奇偶 校 验 1 的 输出 (Yh) 可 能 产生 重量 低 的 码 字 。 但 奇偶 校 验 2 的 输出 
(到 ) 则 不 太 可 能 是 重量 低 的 码 字 ， 原 因 是 它 前 面 的 交错 过 程 。 该 交错 过 程 把 输入 序列 以 搅乱 
成 在 进入 第 二 个 编码 器 时 很 可 能 产生 一 个 高 重量 的 码 字 。 这 对 于 码 来 说 是 很 理想 的 ， 因 为 大 
重量 的 码 字 能 得 到 好 的 译 码 器 性 能 。 直 观 上 ， 当 一 个 编码 器 产生 一 个 “ 弱 ” 码 字 时 ， 由 于 交 
错 的 原因 ， 另 一 个 编码 器 产生 另 一 个 “ 弱 ” 码 字 的 概率 很 长 。 因 此 两 个 码 字 级 联 之 后 就 变 成 
一 个 “ 强 ” 的 码 字 。 这 里 “ 弱 ” 被 用 作 其 他 所 有 码 字 的 平均 汉 朋 距离 的 一 个 度量 。 

尽管 编码 器 决定 了 纠 错 的 能 力 ， 而 译 码 器 才 决 定 实际 的 性 能 。 但 是 ， 这 种 性 能 依赖 于 所 
用 的 算法 是 哪 一 种 。 由 于 Turbo 译 码 是 一 个 迭代 过 程 ， 它 需要 软 输出 算法 ， 如 译 码 最 大 经 验算 
法 (MAP) 或 软 输出 维特 比 算法 (SOVA)。 软 输出 算法 强 于 硬 判 决算 法 ， 因 为 它们 能 更 好 地 
估算 实际 发 送 的 数据 是 什么 。 这 是 因为 软 输出 对 计算 出 的 信息 比特 有 一 种 判决 倾向 ， 而 不 像 
硬 输 出 直接 选取 1 或 0。 图 6-29 给 出 了 一 个 典型 的 Turbo 译 码 器 。 
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MAP 算 法 常用 于 估算 一 个 编码 序列 中 最 可 能 传送 的 信息 比特 。 人 们 偏爱 MAP 算 法 因为 在 低 
SNR 条 件 下 它 比 其 他 算法 性 能 好 ， 比 如 SOVA。 但 是 它 的 主要 缺点 是 它 比 多 数 算法 都 复杂 ， 因 
为 它 关注 信息 的 每 一 个 比特 。 在 此 领域 的 研究 (在 20 世 纪 90 年 代 后 期 ) 大 大 简化 了 MAP 算 法 。 





图 6-29 Turbo 译 码 器 框图 


Turbo 译 码 器 一 般 在 至 少 一 个 部 件 译 码 器 中 使 用 MAP 算 法 。 当 从 信道 中 接收 到 部 分 信息 
(Xt 和 疡 ) 并 传递 给 第 一 个 译 码 器 时 就 开始 了 译 码 过 程 。 余 下 的 奇偶 校 验 2 信息 《 芒 ) ， 则 进入 
第 二 个 译 码 器 并 等 待 其余 信 息 的 到 来 。 第 二 个 译 码 器 在 等 待 的 同时， 第 一 个 译 码 器 对 传递 的 
信息 做 出 评估 ， 进 行 交 错 使 之 与 奇偶 校 验 2 的 格式 相同 ， 然 后 发 送 到 第 二 个 译 码 器 。 第 二 个 译 
码 器 根据 从 第 一 个 译 码 器 和 信道 来 的 信息 重新 评估 传送 的 信息 。 这 第 二 次 的 评估 又 被 循环 回 
到 译 码 过 程 开 始 时 的 第 一 个 译 码 器 。Turbo 译 码 器 的 迭代 过 程 如 图 6-30 所 示 。 


根据 信息 进行 传递 估算 值 到 








新 的 估算 第 二 个 译 码 器 
接收 从 信道 和 第 一 
， 个 译 码 器 来 的 信息 
接收 从 信道 和 第 二 
个 译 码 器 来 的 信息 / 
4 根据 信息 进行 
传递 估算 值 到 新 的 估算 





第 一 个 译 码 器 gy 


图 6-30 Turbo 码 的 迭代 译 码 


这 种 循环 将 进行 下 去 ， 直 到 满足 某 些 条 件 ， 如 已 经 迭代 了 多 少 次 。Turobo 码 就 是 因为 这 
种 选 代 而 得 名 。 译 码 器 对 所 发 送 数据 进行 循环 评估 ， 就 像 涡轮 引擎 循环 空气 一 样 。 当 译 码 器 
做 好 评估 后 ， 所 评估 出 的 信息 终于 被 从 循环 中 踢 出 来 ， 然 后 在 门限 组 件 部 分 做 硬 判决 译 码 。 
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最 后 的 结果 是 译 码 后 的 信息 序列 。 
在 下 一 节 中 我 们 学 习 两 种 Turpo 码 的 详细 译 码 方法 。 


6.12 Turbo 译 码 


我 们 已 经 看 到 卷 积 码 的 译 码 用 到 维特 比 算法 。 维 特 比 算法 在 网 格 中 系统 地 排除 路 径 。 但 
是 ， 对 Turbo 译 码 器 就 不 这 么 幸运 了 。 交 错 器 的 出 现 使 问题 复杂 了 许多 。 在 发 现 Turbo 码 之 前 ， 
人 们 在 级 联 码 的 次 优 译 码 方 法 方面 做 了 大 量 工作 ， 包 括 涉 及 多 重 译 码 器 的 情况 。 由 Bahl.、 
Cocke、Jelinek 和 Raviv 在 1974 年 发 表 在 IEEE Transactions on Information Theory 上 的 依次 按 符 
号 译 码 的 最 大 经 验算 法 (MAP) 也 受到 人 们 的 重视 。Berrou 等 人 在 他 们 的 Turbo 码 的 选 代 译 码 
中 使 用 的 就 是 这 种 算法 。 本 节 中 我 们 将 讨论 对 Turbo 译 码 很 有 用 的 两 种 方法 : 

(1) 改进 的 Bahl、Cocke、Jelinek 和 Raviv (BCJR ) 算法 。 

(2) 从 代 MAP 译 码 。 
6.12.1 改进 的 Bahl、Cocke、Jelinek 和 Raviv (BCJR) 算法 

改进 的 BCJR 算 法 是 个 符号 接 符号 译 码 器 。 当 满足 

Plu= +1|Y > Plur= -11y) (6-44) 


人 时， 该 译 码 器 判决 &= 十 1， 否则 它 判决 尺 = 一 1， 其 中 y= 01,y,…, 3》 是 接收 到 的 有 噪 字 。 
更 简洁 地 说 ， 判 决 扩 是 根据 


i= sign [L(ui)] (6-45) 
给 出 的 ， 其 中 L(w) 是 log 后 验 概率 比率 (LAPP)， 其 定义 为 
Lu )= log [全 | (6-46) 


结合 码 的 网 格 ， 上 式 可 写 为 
Dp (0 =5,s =5,7)/p(y) 


s+ (6-47) 
Dp (st=s, se =s,y)/p(y) 
全 





L(u)= log 








其 中 s.E5 是 编码 器 在 时 刻 k 的 状态 ，5°" 是 对 应 于 由 数据 输入 w = + 1 产生 的 所 有 从 状态 (si-1= 
5') 到 (s.=s) 转移 的 有 序 对 (s',s) 的 集合 ，$ 是 由 = 一 1 时 类 似 定义 的 。 
我 们 定义 





Jul 一 (= 四) (6-48) 
tl)780 5s) 
Ce Do Aes YE(s’ s) (6-49) 


_ > Bs) yrs’,s) 
Bi 一 / 7 
2 odes )Y i(s ,5) 





(6-50) 


上 述 的 边界 条 件 为 
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o(0) =1 且 oo (s #0)= 
po(0)=1 且 pzxz0)=0 (6-51) 
则 改进 的 BCJR 算 法 给 出 如 下 形式 的 LAPP 比 率 


So 1(s)Ye(s’,s)B(s) 
Lu)=1og| 寺 oOQQOOOQOQOQOO— 


Zils )y als’,s)Bes) (6-52) 


6.12.2 和 迭代 MAP 译 码 


图 6-31 给 出 了 译 码 器 示意 图 。 在 图 中 D1 和 D2 是 两 个 译 码 器 ，5S 是 2" 个 要 素 译 码 器 状态 的 

集合 ,y 是 接收 到 的 有 品 字 。 根 据 贝 叶 斯 规则 (Baye's rule) 我 们 可 将 L(u) 写 为 
P(y|u: = +1) Pl(u,=+l 

Sle ( Pl 六 mm 人 3 

其 中 第 二 项 表示 的 是 先 验 信息 。 典 型 的 情况 是 P(u= +1)=P(u。= 一 1)， 从 而 对 传统 的 译 

码 器 来 说 先 验 项 通常 为 零 。 但 是 ， 对 于 选 代 译 码 器 ， 对 每 一 个 内 ，DI 收 到 来 自 D2 的 外 在 或 软 

信息 作为 殉难 信息 。 类 似 地 ，D2 也 收 到 来 自 D1 的 外 在 信息 ， 于 是 译 码 迭 代 就 这 样 在 两 个 译 码 

器 之 间 进 行 下 去 : 除 最 初 的 半 轮 选 代 外 ， 每 半 轮 和 迭代 从 一 个 译 码 器 到 另 一 个 译 码 器 传递 软 信 

息 。 外 在 信息 是 指 对 于 每 一 个 内 ，D2 利 用 D1 得 不 到 的 信息 为 Di 提供 软 信息 ，D1 为 D2 做 着 类 
似 的 事 。 





图 6-31 Turbo 译 码 器 的 迭代 实现 


每 一 次 迭代 ，D1 计 算 
Li(u) = Lyk + Dai(ur)+ Lo(ur) | (6-54) 


其 中 第 一 项 是 信道 值 ，L. = 4E/N。(E。= 每 信道 比特 的 能 量 )，L51(us) 是 从 D2 传递 给 D1 的 外 在 
信息 ， 而 Lis(uw) 是 从 D1 传递 给 D2 的 外 在 信息 。L42(wp) 和 L321(up 的 计算 如 下 : 








Zo (sh(s’, Bs) 
NE 6-55 
Li2(u) = log yat 2)7409/ ,SB (Gs) ( ) 
Zo dt (sy(s’,s) Bes) 
去 二 一 一 一 一 一 一 6-56 
Lo1(u) log Za (8 )y§(s', SBE Ns) ( ) 
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其 中 


.74(s,s) = exp | 二 zzz | (6-57) 


al) = exp [Su (un) + Zo) |.7il) (6-58) 


Fol)els, s) 


= 6-59 
Sd FFart 0 


开放 ys 5) 
(0 


对 上 面 的 算法 ， 每 一 个 译 码 器 必须 拥有 组 成 编码 器 的 网 格 的 全 部 知识 ， 即 每 个 译 码 器 必 
须 有 一 个 表 包 含 所 有 从 s' 到 s 的 状态 转移 的 输入 比特 和 奇偶 校 验 比特 。 而 且 ， 应 该 注意 要 编码 
的 N 一 比特 信息 宇 中 的 最 后 m 比 特 必须 使 译 码 器 1 在 第 N 个 比特 时 状态 为 零 。 

卷 积 码 的 复杂 性 使 低 成 本 的 Turbo 着 积 码 (TCC) 译 码 器 发 展 很 慢 。 另 一 方面 ， 另 一 类 
Turbo 码 ， 称 为 Turbo 乘 积 码 (TPC) ， 用 到 分 组 码 ， 同 时 处 理 多 个 步骤 ， 因此 得 到 高 硬件 数据 
处 理 量 。 我 们 这 里 对 乘积 码 给 出 简单 的 介绍 。 我 们 考虑 两 个 系统 线性 分 组 码 C1， 其 参数 为 
(a, ki, d1)， 和 C2， 它 的 参数 为 (n,, 性, d) ， 其 中 nn;，ki 和 和 d; (i= 1, 2) 分 别 表示 码 字 长 度 、 信 
息 比 特 数 和 最 小 汉 明 距离 。 两 个 分 组 码 的 串联 (或 乘积 ) P=C1*C。( 见 图 6-32) 可 由 下 列 步 
又 得 到 ， 

(1) 把 (后 x 妨 ) 个 信息 比特 放 入 行列 的 阵列 内 ， 

(2) 用 码 C2 对 个 行进 行 编码 ， 

(3) 用 码 C1 对 m 个 列 进行 编码 。 


(6-60) 














图 6-32 一 个 乘积 码 P= Ci*C: 的 例子 
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乘积 码 P 的 参数 为 : n 王 ni*n2,， kK 二 kixky，d = di*d; 而 且 码 率 R=R1*xR,， 其 中 R 是 码 C 的 码 率 。 
因此 我 们 可 以 通过 把 短 的 具有 小 的 汉 明 距离 的 码 结合 起 来 得 到 具有 大 最 小 汉 明 距离 的 很 长 的 
分 组 码 。 根 据 构造 乘积 码 的 过 程 ， 很 明显 矩阵 的 最 后 (n, 一 k) 个 列 是 C, 的 码 字 。 利 用 矩阵 生 
成 器 ， 我 们 可 以 证 明和 矩阵 好 的 后 面 的 行 是 C: 的 码 字 。 因 此 矩阵 P 的 所 有 行 都 是 C, 的 码 字 ， 和 矩阵 
P 了 的 所 有 列 都 是 C, 的 码 字 。 

现在 我 们 考虑 用 QPSK 信 和 号 通过 高 斯 信道 后 的 乘积 码 P 的 行 和 列 的 译 码 问 题 。 当 接收 到 对 
应 于 传输 码 字 为 E 的 矩阵 R 后 ， 第 一 个 译 码 器 以 矩阵 RR 为 输入 对 P 的 行 (或 列 ) 进行 软 译 码 。 软 
输入 /输出 译 码 使 用 由 R. Pyndiah 提 出 的 新 算法 。 从 软 输出 中 减 除 软 输入 可 得 到 外 在 信息 W(2)， 
其 中 索引 号 2 表示 我 们 考虑 用 于 P 的 第 二 步 译 码 的 外 部 信息 ， 它 是 在 P 的 第 一 步 译 码 过 程 中 计算 
而 来 的 。 在 对 P 的 第 二 步 译 码 中 对 列 (或 行 ) 译 码 的 软 输入 为 

R(2) = R+ a(2)W(2) (6-61) 
其 中 a(2) 为 缩放 因子 ， 它 应 考虑 到 矩阵 R 与 盾 阵 WW 中 的 采样 标准 方差 是 不 同 的 。 外 在 信息 的 标 
难 方差 在 第 一 步 译 码 中 是 很 高 的 ， 但 当 我 们 迭代 译 码 过 程 时 它 在 不 断 降低 。 当 BER 相 对 较 高 
时 ， 缩 放 因 子 c 也 用 于 减少 外 部 信息 在 第 一 步 译 码 的 软 译 码 器 中 的 影响 。 它 在 第 一 步 译 码 中 取 
一 个 较 小 的 值 ， 然 后 随 BER 趋 于 0 而 不 断 增 加 。 上 述 的 译 码 过 程 可 以 推广 为 基本 级 联 译 码 器 ， 
如 图 6-33 所 示 。 
atm) B(m) 














图 6-33 基本 分 组 Turbo 译 码 器 框图 


现在 让 我 们 简单 看 一 下 Turpbo 码 的 性 能 ， 并 将 它 同 其 他 已 有 的 方案 作 比较 。 正 如 图 6-34 所 
示 ， 在 低 SNR 条 件 下 ，Turbo 码 是 最 实用 的 码 (在 高 SNR 的 情况 下 ，Reed-Solomon 码 的 性 能 可 
以 超过 Turbo 码 ) 。 从 图 中 可 以 明显 看 到 ， 递 归 系 统 卷 积 (RSC) Turbo 码 是 目前 已 知 的 最 实用 
的 码 ， 因 为 它 可 以 在 低 SNR 的 情况 下 得 到 低 BER ， 而 且 最 接近 理论 上 的 最 大 信道 性 能 ， 即 
Shannon 限 。 它 的 性 能 取决 于 编码 增益 。 可 以 说 编码 增益 就 是 对 相同 BER 性 能 时 编码 信道 和 未 
编码 信道 的 SNR 之 差 。 编 码 增益 可 以 通过 度量 在 某 一 给 定 BER 下 编码 信道 的 SNR 和 未 编码 信 
道 的 SNR 之 间 的 距离 得 到 。 例 如 ， 码 率 为 1/2，BER 为 10 5 的 RSC Turbo 码 的 编码 增益 约 为 
8.5dB。 其 实际 产生 的 结果 如 下 所 示 。 孝 虚空 间 通信 ， 基 中 接收 功率 服从 北平 方 定律 (Pk 
ld ) 。 这 说 明 Turbo 编 码 后 的 信号 比 未 编码 信号 可 以 在 2.56 ( = V7 ) 倍 远 的 地 方 收 到 (相同 
传输 功率 ) ， 或 者 只 需要 1/7 的 传输 功率 (对 相同 传输 距离 )。 从 另 一 个 角度 看 ， 这 个 问题 就 是 
谈论 移动 装置 的 电视 寿命 问题 。 比 如 ， 因 为 RSC Turbo 编 码 信道 只 需要 未 编码 信道 1/7 的 功率 ， 
我 们 可 以 说 一 个 使 用 Turbo 码 的 装置 ， 比 如 一 部 手机 ， 共 电池 寿命 要 比 未 使 用 任何 信道 编码 的 
装置 长 7 倍 。 
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其 泪 薄 将 区 




















信 噪 比 (dB) 
图 6-34 不 同 编码 系统 的 比较 


6.13 Turbo 码 的 交织 器 设计 


当 交 织 器 的 长 度 比较 大 ， 大 约 几 千 比特 时 ，Turbo 码 相 较 于 卷 积 码 (convolutional code ) 
有 很 大 的 性 能 优势 。 对 大 分 组 长 度 的 交织 器 ， 大 多 数 随机 交织 器 效果 不 错 。 另 一 方面 ， 为 了 
降低 交织 / 解 交织 操作 对 硬件 的 需求 ， 某 些 应 用 更 偏好 于 使 用 确定 性 交织 器 。 对 小 分 组 长 度 的 
交织 器 ， 使 用 随机 交织 器 的 Turbo 码 的 性 能 将 明显 降低 到 某 一 点 ，Turbo 码 在 此 点 的 误 码 率 
(BER) 性 能 比 相似 计算 复杂 度 的 卷 积 码 的 BER 要 差 。 对 小 分 组 长 度 的 交织 器 ， 交 织 器 种 类 的 
选择 对 Turbo 码 的 性 能 有 显著 的 影响 。 在 很 多 应 用 中 比如 音频 )， 在 选择 分 组 长 度 时 延迟 是 
一 个 需要 考虑 的 问题 。 因 此 对 这 些 应 用 ， 就 需要 设计 一 个 小 分 组 长 度 的 交织 器 使 得 BER 性 能 
在 可 接受 范围 内 。 

在 交织 器 设计 中 ， 有 以 下 两 个 主要 的 标准 : 

(1) 码 的 距离 频谱 (重量 分 布 ) 属性 ， 

(2) 每 一 个 对 应 于 奇偶 校 验 位 的 解码 器 的 软 输 出 和 信息 输入 数据 序列 之 间 的 相关 性 。 

上 面 的 第 二 个 关键 点 有 时 称 为 选 代 译 码 有 效 性 (IDS) 标准 。 


定义 6.14 一 个 随机 交织 器 (Random Interleaver) 是 一 个 简单 的 随机 置换 工 。 

定义 6.15 ”一 个 S 随 机 交织 器 (S=1, 2, 3, …) 是 一 个 按照 下 面 程序 构造 出 来 的 “ 半 随 机 ” 交 
织 器 : 每 一 个 所 选择 的 随机 整数 需要 和 前 面 S 个 已 选择 的 随机 数 进行 比较 。 如 果 此 选择 的 随机 
数 和 前 面 S 个 随机 数 的 差 值 小 于 ， 则 此 选择 的 随机 数 被 拒绝 (需要 重新 选择 )。 这 种 选择 过 程 
一 直 持 续 到 选择 完 所 有 NN 个 不 同 的 整数 。 





例 6.12 ”3GPP 计 划 (Third Generation Partnership Project) 建议 Turbo 码 的 交织 器 算法 由 
一 系列 把 长 度 为 K (40<K<5114) 的 输入 序列 映射 为 交织 序列 的 数学 复杂 过 程 构成 。 算 法 概述 
如 下 : 

第 1 步 : 以 列 为 主 型 ，( 逐 行 写 人 ) 把 数据 输入 转换 为 一 个 Rx C 的 矩阵， 如 果 K<R x CC， 
则 用 0 填充 。 

第 2 步 ， 基 于 一 个 递归 构造 而 成 的 基 序 列 s， 对 和 矩阵 进行 行内 置换 。 
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第 3 步 ， 基 于 一 个 明确 的 列 之 间 的 置换 模式 T 和 一 个 置换 的 最 小 素数 序列 r (由 T 和 一 个 有 
序 的 最 小 素数 序列 4 得 到 ) ， 对 矩阵 进行 行 间 置 换 。 
第 4 步 : 以 行为 主 型 ，( 逐 列 读 出 ) 从 和 矩阵 中 输出 数据 (输出 过 程 进行 过 剪 切 ) 。 





6.14 评 ; 


卷 积 码 的 概念 首先 是 由 Elias (1954) 提出 的 ， 之 后 由 Wozencraft (1957) 和 Ash (1963 ) 
进行 了 发 展 。Massey (1963) 提出 了 一 类 纠 多 个 错误 的 卷 积 码 。Massey (1968) 和 Forney 
(1970) 对 卷 积 码 进行 了 代数 结构 的 研究 。 

维特 比 译 码 是 由 Qualcomm 有 限 公 司 创 始 人 Andrew J. Viterbi 发 展 的 。 他 在 该 项 技术 上 的 
精辟 论文 “ 卷 积 码 的 错误 界 和 一 种 浙 近 最 优 译 码 算法 ”发 表 在 1997 年 4 月 的 IEEE Transactions 
on Informarion Theory 第 13 期 第 260 一 269 页 。 在 1968 年 ，Heller 证 明了 若 约 束 长 度 不 是 太 大 ， 
维特 比 译 码 算 法 是 实用 的 。 

Turbo 码 代表 了 在 纠 错 方 面 的 又 一 次 飞跃 。Turbo 码 在 1993 年 的 国际 通信 和 学术 会 议 (ICC) 
上 由 Berrou、Glavieux 和 Thitimajshima 在 他 们 的 论文 “ 近 Shannon 限 纠 错 编码 及 译 码 一 一 Turbo 
码 ” 中 提出 来 的 。 这 类 码 名 字 的 由 来 是 因为 译 码 数据 在 译 码 器 中 要 来 回 循环 好 儿 次 。 发 明 者 
可 能 是 发 现 了 涡轮 增 压 是 怎么 工作 的 。Turbo 码 被 证 明 在 BER 为 10 情况 下 ， 共 性 能 高 
Shannon 限 只 有 1dB 。 它 们 把 一 个 复杂 的 译 码 问 题 分 解 成 简单 的 步骤 ， 每 一 个 步 又 都 在 不 断 重 
复 直 到 得 到 满意 答案 为 止 。 术 语 “Turbo 码 ”通常 用 于 指 Turbo 卷 积 码 〈TCC) 一 一 Turbo 码 的 
一 种 形式 。Bahl、Cocke、Jelinek 和 Raviv 在 1974 年 〈( 比 Turbo 码 的 引入 早 了 19 年 ) 发 表 的 符号 
接 符号 最 大 后 验 (MAP) 算法 被 Berrou 等 人 用 于 他 们 的 Tuarbo 码 的 迭代 译 码 。 另 一 方面 ， 另 一 
种 Turpo 码 ， 称 为 Turbo 乘 积 码 (TPC) ， 用 到 分 组 码 ， 同 时 求解 多 个 步骤 ， 因 此 可 以 得 到 高 的 
硬件 数据 处 理 量 。 


6.15 小 结 


。 树 码 的 一 个 重要 子 类 是 卷 积 码 。 卷 积 码 根 据 过 去 的 信息 做 出 判决 ， 即 需要 有 记忆 。 一 个 
(ho, no) 树 码 如 果 是 线性 的 、 不 随时 间 变 化 的 ， 而 且 有 荐 有 限 码 字 长 度 k= ( 普 + 1)k。， 则 
称 为 一 个 (n,k) 卷 积 码 。 

。 卷 积 码 用 到 小 得 多 的 长 度 为 如 的 未 编码 数据 组 。 这 些 称 为 信息 帧 。 这 些 信息 帧 被 编码 为 
长 度 为 m 的 码 字 帧 。 该 树 码 的 码 率 定义 为 R= ko/ no 

。 一 个 移 位 寄存 器 编码 器 的 约束 长 度 定义 为 它 的 内 存 中 所 能 储存 的 符号 的 个 数 。 

。 卷 积 码 大 小 为 ox no 的 生成 多 项 式 和 矩阵 可 表示 为 G(D) = [gy(D)]， 其 中 gy(D) 为 该 码 的 生 
成 多 项 式 。gj(D) 是 沿 从 输入 i 到 输出 j 的 路 径 得 到 的 。 

。 卷 积 码 的 码 字 长 度 为 k= max[deg 8j(D)+1]， 分 组 长 度 为 n=no max[deg gr(D)+I， 约 


束 长 度 为 v- 六 maxtdeg gy(D)] 
. 编码 操作 可 简单 描述 为 向 量 和 阵 乘积 ，CLD) LD)G(D)， 或 等 价 地 表示 为 


ko 
c(D) = 2 (D)gy(D) 
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* 奇偶 校 验 矩 阵 豆 (D) 是 一 个 (no 一 ho) 行 no 列 的 多 项 式 和 矩阵 ， 且 满足 G(D)H(D)"=0，, 而 有 
(no 一 ko) 个 分 量 行 向 量 的 伴随 式 多 项 式 向 量 表示 为 s(D)=v(D)H(D)"。 

“一 个 卷 积 码 的 系统 编码 器 有 形 如 G(D) = [1|P(D)] 的 生成 多 项 式 矩 阵 ， 其 中 I 是 kx ho 阶 单 
位 矩阵 ，P(D) 为 ko x (mo 一 ko) 阶 多 项 式 矩 阵 。 一 个 系统 卷 积 编码 器 的 奇偶 校 验 多 项 式 矩 
阵 为 如 CD)=[ 一 PCD)7 加 。 

* 若 一 个 卷 积 码 的 生成 多 项 式 g1(D), gz2(D)，…， 8no(D) 对 某 个 整数 a 满足 GCD[g81(D), g2(D), …， 
8wo(D)]= 二 DP， 则 该 码 称 为 非 灾难 性 卷 积 码 。 否 则 称 为 灾难 性 卷 积 码 。 

* 一 个 卷 积 码 的 第 /级 最 小 距离 4 等 于 任意 两 个 最 初 ! 个 帧 不 相同 的 码 字 之 间 的 最 小 汉 明 距 
离 。 若 /=m+1， 则 第 (m+1) 级 最 小 距离 称 为 该 码 的 最 小 距离 ， 记 为 心 ， 其 中 m 是 编 
码 器 内 存 中 所 能 储存 的 信息 帧 的 个 数 。 在 文献 中 ， 最 小 距离 又 记 为 d,,。 

“如果 一 个 卷 积 码 的 第 (级 最 小 距离 为 41， 则 当 di>2t+ 1 时 ， 该 码 可 纠 前 ! 个 帧 上 发 生 的 :个 
错误 。 一 个 卷 积 码 的 自由 距离 为 dh = max[d]。 

* 卷 积 码 的 自由 长 度 。。 为 最 小 非 零 重量 的 卷 积 码 字 的 非 零 部 分 的 长 度 。 因 此 若 1= 6。。， 则 
di= dpee, 且 当 1<n6s 了 时 有 di<dj。。。 在 文献 中 ， Pree 又 记 为 m。。 

* 另外 一 种 计算 卷 积 码 d;, 的 方法 用 到 生成 函数 的 概念 ， 它 的 扩张 直接 提供 了 所 有 的 距离 信息 。 

* 卷 积 码 的 生成 矩阵 可 表示 为 


G, G 6G, :. G, 0 0 00 
Go GG G6 6 000.. 
m= m=-l Cn 0 0 


0 0 G  G，G 


“ 维特 比 译 码 技术 是 卷 积 码 的 一 种 有 效 译 码 方法 。 它 需要 的 计算 量 的 增长 速度 是 约束 长 度 
的 某 个 指数 函数 。 
* 对 码 率 R 和 约束 长 度 ， 设 4 为 满足 a 二 所 1 一 R 的 最 大 整数 。 则 至 少 有 一 个 最 小 距离 4 满 


bv 
足 上 述 不 等 式 的 二 元 卷 积 码 存在 ， 这 里 及 ao 是 我 们 熟悉 的 关于 二 元 字母 集 的 炉 函 数 。 

* 对 一 个 满足 R= la 的 二 元 码 ， 其 最 小 距离 满足 dv< [Cov+m)/2| ， 其 中 | 中 表示 不 大 于 
1! 的 最 大 整数 。 


no 27 


* Heller 给 出 的 dnc 的 一 个 上 界 为 win 一 min 全 7 e+ 中 为 了 计算 上 界 ， 等 式 右 
了 > 





1 
边 需 要 对 不 同 的 整数 值 /做 平面 图 ， 该 图 的 最 小 值 就 是 所 求 上 界 。 
“ 卷 积 码 的 第 一 个 错误 概率 的 上 界 可 以 由 P.< 7(D)。; ss 得到， 而 比特 错误 概率 可 由 
oT(D,D , 
于 “| -ov 得 到 。 
。 Turbo 码 实际 为 一 种 介 于 分 组 码 和 卷 积 码 之 间 的 类 混合 物 。Turbo 码 典型 地 用 到 至 少 两 个 
卷 积 部 件 编码 器 和 两 个 最 大 后 验 (MAP) 算法 部 件 译 码 器 。 尽 管 编码 器 决定 码 的 纠 错 能 
力 ， 但 还 是 译 码 器 决定 实际 译 码 性 能 。 
。 对 小 分 组 长 度 的 交织 器 ， 交 织 器 种 类 的 选择 对 Turbo 码 的 性 能 有 显著 的 影响 。 
去 做 一 些 不 可 能 的 事情 也 是 很 有 趣 的 。 


——Walt Disney (1901 一 1966) 








1 
已 去 一 
“大 
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习题 
6.1 设计 一 个 码 率 为 1/2 的 卷 积 码 使 其 约束 长 度 v=4 且 4d* =6。 
(1) 构造 该 编码 器 的 状态 图 。 
(2) 构造 该 编码 器 的 网 格 图 。 
(3) 该 码 的 dj 是 什么 ? 
(4) 给 出 生成 矩阵 G。 
(5) 该 码 是 不 是 非 灾 难 性 的 ? 为 什么 ? 
6.2 设计 一 个 (12, 3) 系统 卷 积 编码 器 使 其 约束 长 度 v=3 且 d' 之 8。 
(1) 构造 该 编码 器 的 网 格 图 。 
(2) 该 码 的 di 是 什么 ? 
6.3 考虑 图 6-35 所 示 的 二 元 编码 器 





(1) 构造 该 编码 器 的 网 格 图 。 
(2) 记 下 该 编码 器 的 6、no、v、m 及 R 的 值 。 
(3) 该 码 的 d 和 ds。。 的 值 各 是 多 少 ? 
(4) 给 出 该 编码 器 的 生成 多 项 式 和 矩阵 。 
6.4 考虑 图 6-36 所 示 的 二 元 编码 器 。 





图 6-36 
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(1) 写 出 该 编码 器 的 Kk、n、v、m 及 R 的 值 。 
(2) 给 出 该 编码 器 的 生成 多 项 式 和 矩阵 G(D)。 
(3) 给 出 该 编码 器 的 生成 矩阵 C。 
(4) 给 出 该 编码 器 的 奇偶 校 验 和 矩阵 太 。 
(5) 该 码 的 d"、 dp 和 mree 的 值 各 是 什么 ? _ 
(6) 该 编码 器 在 dr 的 Heller 界 上 是 最 优 的 吗 ? 
(7) 用 该 编码 器 将 下 列 比特 序列 进行 编码 :; 101 001 001 010 000。 
6.5 考虑 一 个 由 下 列 定 义 在 CF(2) 上 的 生成 多 项 式 乍 阵 所 描述 的 卷 积 编码 器 ， 
D0 1 DD D+D? 
GD=|D2 0 0 1+D 0 
1 0D 0 D? 





(1) 画 出 用 移 位 寄存 器 实现 该 编码 器 的 电路 图 。v 的 值 是 什么 ? 
(2) 这 个 码 是 灾难 性 的 吗 ? 为 什么 ? 
(3) 该 码 在 dr。. 的 Heller 界 上 是 最 优 的 吗 ? 

6.6 当 玉 =2 时 ，(12, 9) Wyner-Ash 码 的 奇偶 校 验 和 矩阵 由 下 列 给 


1 1 1 | 1 
1 100!1 111! ' ' 
1010I1100IL1 1 1 
2-ooooilo 10IL100L11 1 
0000:000 0:10 1 01:1 1 0 0; 
(1) 确定 生成 矩阵 G。 
(2) 确定 生成 多 项 式 和 矩阵 G(D)。 


(3) 给 出 (12,9) Wyner-Ash 卷 积 码 的 电路 实现 。 
(4) 该 码 的 d 和 ds 的 值 各 是 什么 ? 
6.7 考虑 定义 在 GF(4) 上 的 一 个 卷 积 编码 器 ， 它 的 生成 多 项 式 为 
g(D)=2D3+3D2+1 和 
&(D)=D +D+1 
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(1) 该 码 的 最 小 距离 是 多 少 ? 
(2) 该 码 是 非 灾难 性 的 吗 ? 为 什么 ? 
6.8 设 一 个 码 率 为 1/3 的 二 元 卷 积 编码 器 的 生成 多 项 式 如 下 : 
| g(D=D+D+!1 
g(D)=D +D 
8(D)=D+1 
(1) 编码 下 列 的 比特 流 : 01100011110101。 
(2) 编码 下 列 的 比特 流 : 1010101010…。 
(3) 对 下 列 接收 到 的 比特 流 进行 译 码 ; 001001101111000110011。 
6.9 考虑 GF(3) 上 的 一 个 码 率 为 1/2 的 卷 积 编码 器 ， 其 生成 多 项 式 为 
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&(D) = 2 +27+1 和 
g&(D)=D+D+2 
(1) 给 出 该 编码 器 的 电路 实现 。 
(2) 该 码 的 最 小 距离 是 多 少 ? 
(3) 用 该 编码 器 将 下 列 符号 串 编 码 ， 2012111002102。 
(4) 假设 错误 向 量 为 0010102000201。 构 造 接 收 到 的 向 量 并 用 维特 比 算法 对 其 译 码 。 


上 机 习题 


6.10 
6.11 


6.12 
6.13 


6.14 


6.20 


写 一 个 程序 ， 使 其 在 给 定 m 和 v 的 值 时 能 计算 出 di 的 Heller 界 。 

写 一 个 程序 来 穷 举 搜索 好 的 系统 卷 积 码 。 该 程序 应 该 对 参数 如 、m、v、m 等 进行 循环 ， 
以 确定 在 这 一 范围 内 最 好 卷 积 码 的 生成 多 项 式 和 矩阵 (以 八进制 形式 给 出 ) 。 

写 一 个 程序 ， 使 其 当 给 定 任意 卷 积 编码 器 的 生成 多 项 式 和 矩阵 时 ， 能 计算 出 4 和 dj;。。 

写 一 个 程序 ， 使 其 当 给 定 一 个 约束 长 度 v 时 ， 能 构造 所 有 码 率 为 1/2 的 卷 积 编码 器 ， 且 对 给 
定 的 v， 它 能 选取 最 好 的 码 。 利 用 该 程序 勾画 出 下 列 平面 图 : 

(1) 最 小 距离 4 相对 vy 的 平面 图 。 

(2) 自由 距离 dj 相对 v 的 平面 图 。 

对 卷 积 码 纠 错 能 力 在 内 存 要 求 方面 做 出 评论 。 

写 一 个 维特 比 译 码 器 软件 ， 它 接受 下 列 输入 : 

(1) 以 八进制 形式 给 出 的 码 的 参数 ， 以 及 

(2) 接收 到 的 比特 流 。 

该 译 码 器 产生 幸存 者 和 译 码 后 的 比特 流 。 

对 表 6-4 中 列 出 的 v=3,4,…, 7 情况 验 证 Heller 界 。 

写 一 个 Turbo 译 码 器 的 通用 程序 。 该 程序 应 该 接受 两 个 编码 器 的 参数 和 交错 器 的 类 型 ， 
然后 当 输 入 (未 编码 的 ) 比特 流 时 产生 编码 比特 流 。 

修改 前 一 个 问题 中 的 Turbo 编 码 器 程序 ， 用 来 确定 Turbo 编 码 器 的 dp,。。 

考虑 图 6-37 中 所 示 的 码 率 为 1/3 的 Turbo 编 码 器 。 设 随机 交错 器 大 小 为 256 比 特 。 

(1) 求 恋 Turbo 编 码 器 的 dj。。。 

(2) 若 输 入 速率 为 28.8kb/s ， 该 编码 器 造成 的 时 间 延 迟 为 多 少 ? 

写 一 个 用 揭 代 MAP 译 码 算法 做 一 般 Turbo 译 码 的 程序 。 该 程序 应 该 接受 两 个 编码 器 的 参 
数 ， 用 于 编码 的 交错 器 类 型 和 SNR， 当 输入 有 了 噪 的 、 编 码 后 的 比特 访 时 ， 它 应 该 产生 译 
码 后 的 比特 序列 。 

考虑 码 率 为 1/3 的 包含 下 面 要 素 编 码 器 的 Turbo 编 码 器 : 





1+D*+D3+D1 
GD = G0 Drip | 
编码 后 的 输出 包含 信息 比特 ， 后 接 两 个 来 自 两 个 编码 器 的 奇偶 校 验 比 特 ， 从 而 该 编码 


器 的 码 率 为 /3。 采 用 大 小 为 256 的 随机 交错 器 。 
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图 6-37 习题 6.18 和 的 Turbo 编 码 器 
(1) 对 这 个 Turbo 编 码 器 ， 给 出 比特 错误 率 (BER) 相对 信 噪 比 (SNR) 的 平面 图 。 将 
SNR 在 一 2dB ~ 10dB 之 间 变 化 。 . 
(2) 对 大 小 为 1024 的 交错 器 ， 重 复 上 述 过 程 。 对 你 的 结果 给 出 评论 。 
我 们 希望 找到 图 6-37 中 Turbo 编 码 器 在 AWGN 信 道上 的 性 能 。 产 生 5 随 机 交织 器 的 一 条 
BER 相 对 于 SNR 的 曲线 。 运 行 交织 器 规模 分 别 为 4、256、1024 的 模拟 器 。 画 出 当 5=5、 
10 和 15 时 BER 相 对 于 SNR 的 曲线 族 。 在 本 题 中 使 用 迭代 的 MAP 解 码 算 法 。 
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一 个 数学 理论 在 被 摘 得 如 此 清楚 以 至 于 你 能 给 马路 上 第 一 个 遇 到 的 人 解释 之 前 ， 不 能 算 
是 完备 的 。 





David Hilbert. (1862—1943) 


7.1 网 格 编码 调制 (TCM) 简介 


在 前 面 的 章节 中 我 们 学 习 了 一 些 错 误 控制 编码 技术 。 在 所 有 这 些 技术 中 ， 信 息 比特 以 一 
种 已 知 的 方式 加 入 额外 比特 。 但 是 ， 比 特 错误 率 的 改善 是 以 这 些 额外 比特 所 占用 的 带宽 为 代 
价 的 。 这 种 带宽 扩张 等 于 码 率 的 倒数 。 

例如 ， 一 个 RS (255，223) 码 的 码 率 为 R=223/255==0.8745， 而 WR=1.1435。 因 此 要 传 
送 100 信 息 比 特 ， 我 们 需要 传送 14.35 额 外 比特 。 这 变 成 了 14.35% 的 带宽 扩张 。 即 使 对 这 个 高 
效 的 RS (255，223) 码 ， 额 外 的 带宽 需求 都 不 是 个 小 数目 。 

在 功率 有 限 信道 《如 空间 通信 ) 中 ， 我 们 可 能 会 以 带宽 扩展 为 代价 来 换取 期 望 的 性 能 。 
但 是 对 带宽 有 限 信道 《如 电话 信道 )， 这 可 能 不 是 理想 的 选择 。 在 这 样 的 信道 中 ， 一 种 带宽 有 
效 的 信号 方案 如 脉冲 振幅 调制 (PAM ) 、 正 交 振 幅 调制 (QAM) 或 者 多 相 移 键 控 (MPSK ) ， 
通常 用 来 支持 高 带宽 效率 〈 以 biVs/Hz 为 单位 )。 

一 般 地 ， 为 了 提高 性 能 (错误 率 )， 或 者 需要 额外 带宽 ,或 者 需要 更 高 的 信号 功率 。 是 否 
可 能 在 不 牺牲 带宽 《表现 为 数据 速率 ) 或 额外 的 功率 来 取得 系统 性 能 的 改善 呢 ? 在 本 章 中 我 
们 将 学 习 一 种 称 为 网 格 编 码 调制 技术 的 编码 技术 ， 它 可 以 在 不 需要 带宽 扩张 或 不 用 额外 功率 
的 情况 下 取得 更 好 的 性 能 。 

我 们 从 介绍 编码 调制 概念 开始 ， 然 后 学 习 一 些 能 构造 好 的 编码 调制 方案 的 设计 技术 。 最 
后 ， 讨 论 加 性 白 高 斯 噪声 (AWGN) 信道 和 衰退 信道 等 不 同 的 编码 调制 方案 的 性 能 。 


7.2 编码 调制 的 概念 


传统 意义 上 ， 编 码 和 调制 被 认为 是 数字 通信 系统 中 两 个 分 开 的 部 分 。 输 入 消息 流 首 先 通 
过 信道 编码 (额外 比特 被 加 入 进来 )， 然 后 这 些 编码 后 的 比特 由 调制 器 转化 为 模拟 波形 。 信 和 道 
编码 器 和 调制 器 的 目的 都 是 纠正 用 一 个 不 理想 的 信道 时 所 产生 的 错误 。 这 两 部 分 (编码 器 和 
调制 器 ) 被 独立 地 优化 ， 尽 管 它们 的 目的 是 相同 的 ， 也 就 是 说 为 了 纠正 由 信道 造成 的 错误 ! 
正如 我 们 已 经 看 到 的 ， 通 过 降低 码 率 ， 即 以 带宽 扩张 和 增加 编码 复杂 性 为 代价 ， 要 得 到 更 好 
的 性 能 是 可 能 的 。 但 是 ， 如 果 将 信道 编码 器 同调 制 器 有 机 地 结合 起 来 ， 可 以 得 到 编码 增益 而 
不 需要 带宽 扩张 。 我 们 通过 一 个 例子 来 说 明 。 





例 7.1 ”考虑 吞吐 量 为 2bits/Hz 的 信道 上 的 信息 传输 问题 。 一 种 可 能 的 解决 方法 是 用 未 编码 
的 QPSK， 另 一 种 可 能 性 是 首先 用 码 率 为 2/3 的 卷 积 编码 器 〈 它 把 2 个 未 编码 的 比特 转化 为 3 个 编 
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码 后 的 比特 ) ， 然 后 用 吞吐 量 为 3bit/s/Hz 的 8PSK 信 和 号 集 合 。 这 种 纺 码 后 的 8PSK 方 案 造 成 与 未 编 
码 的 QPSK 同 样 的 信息 数据 吞吐 量 (2bit/s/Hz)。 注意 不 管 是 QPSK 还 是 8PSK 方 案 需 要 相同 的 带宽 。 
但 我 们 知道 当 每 个 符号 的 能 量 相同 时 ，8PSK 的 符号 错误 率 比 QPSK 的 要 差 。 但 是 ， 码 率 为 2/3 的 
卷 积 编码 器 可 以 提供 一 些 编码 增益 。 有 可 能 由 编码 器 提供 的 编码 增益 与 由 8PSK 信 和 号 集合 所 造成 
的 损失 会 持平 。 如 果 在 相同 SNR 条 件 下 编码 调制 方案 远 好 于 未 编码 的 情况 ， 我 们 可 以 说 在 没有 
牺牲 数据 率 和 带宽 的 情况 下 得 到 了 一 些 改善 。 在 这 个 例子 中 我 们 结合 了 网 格 编码 器 和 调制 器 。 
这 样 的 一 种 方案 称 为 网 格 编码 调制 (TCM) 方案 。 







我 们 观察 到 如 果 平 均 信 号 能 量 保持 不 变 (图 7-1)， 通 过 对 信号 集合 的 扩张 来 提供 元 余 度 
将 导致 信号 点 之 间 的 欧 几 里 得 距离 缩短 。 这 种 欧 几 里 得 距离 的 缩短 将 增加 错误 率 ， 它 应 该 由 
编码 来 补偿 (增加 汉 明 距离 )。 这 里 假定 使 用 AWGN 信 道 。 我 们 也 知道 在 编码 方案 中 译 码 之 前 
使 用 硬 判 决 解 调 会 造成 不 可 逆转 的 信息 丢失 ， 这 可 以 理解 为 SNR 的 损失 。 对 编码 调制 方案 ， 
信和 号 集合 的 扩张 意味 着 在 功率 上 的 损失 ， 因 此 必须 使 用 软 判 决 译 码 。 结 果 是 解 调 和 译 码 应 该 
结合 为 一 个 步 又， 而且 译 码 器 应 该 在 信道 的 软 输出 采样 上 操作 。 对 使 用 软 判 决 的 最 大 似 然 译 
码 算法 ， 优 化 译 码 器 选取 离 接 收 到 的 序列 之 欧 几 里 得 距离 最 近 的 码 序 列 。 因 此 有 效 编码 方案 
应 该 以 将 编码 序列 之 间 的 欧 几 里 得 距离 ， 而 不 是 汉 明 距离 最 大 化 为 基础 进行 设计 。 











se 
62 = 0.586 Es 
561+=2E, 
62=3.414 Es 
652 =4 Es 





图 7-1 QPSK 和 8PSK 的 信和 号 点 之 间 的 欧 几 里 得 距离 


对 于 TCM 方案 ， 维 特 比 算法 可 以 用 来 对 接收 到 的 符号 译 码 。 在 前 面 的 章节 中 我 们 已 经 看 
到 维特 比 译 码 的 基本 思想 是 在 网 格 中 追踪 最 相像 的 路 径 。 最 相像 的 路 径 就 是 汉 明 距离 最 接近 
接收 到 的 序列 的 那个 路 径 。 译 码 算法 的 性 能 依赖 于 一 对 构成 错误 事件 的 路 径 之 间 的 最 小 欧 几 
里 得 距离 。 

定义 7.1 网 格 中 任意 两 个 路 径 之 间 的 最 小 欧 几 里 得 距离 称 为 自由 欧 几 里 得 距离 ， 在 TCM 
方案 中 记 为 dj。。。 

在 第 6 章 中 我 们 利用 网 格 中 任意 两 个 路 径 之 间 的 汉 明 距离 定义 了 dnoe。 利 用 汉 明 重量 确定 
的 最 小 自由 距离 可 以 计算 为 从 全 零 路 径 分 离 ， 后 来 在 网 格 的 某 一 点 又 回 到 全 零 路 径 的 路 径 的 
最 小 重量 。 这 是 卷 积 码 线性 特性 的 结果 。 但 是 ， 这 种 方法 对 TCM 则 不 适用 ， 因 为 它 不 是 线性 
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的 。 也 可 能 dv 是 网 格 中 两 个 非 全 零 路 径 之 间 的 欧 几 里 得 距离 。 因 此 ， 为 了 计算 TCM 方案 的 自 
由 欧 几 里 得 距离 ， 所 有 路 径 对 都 需 进 行 评估 。 





例 7.2 ”考虑 后 面 紧 接着 进行 自然 映射 (000 一 so, 001 一 s,, …, 111 一 sy) 的 调制 结构 的 卷 积 编 
码 器 ， 如 图 7-2 所 示 。 编 码 器 的 码 率 为 23。 它 每 次 把 两 个 比特 的 输入 (a1, a3) 变 成 三 个 比特 的 输 
出 〈cu cz cs)。 然 后 这 三 个 输出 比特 被 映射 到 8PSK 信 和 号 集合 的 8 个 信和 号 之 一 。 














(8 PSK) 








图 7-2 例 7.2 中 的 TCM 方案 


这 种 编码 和 调制 的 结合 也 可 以 用 将 分 支 标记 为 输出 符号 s 的 网 格 表示 。TCM 方 案 可 简单 描 
述 如 下 : 有 一 个 全 连通 的 网 格 ， 每 一 个 分 支 用 8PSK 星 座 图 的 一 个 符号 标记 。 为 了 清楚 地 表示 
符号 的 安置 ， 指 派 给 分 支 的 符号 写 在 网 格 的 前 端 。 协 议 如 下 ， 考虑 状态 1。 从 状态 1 到 状态 1 的 
分 支 标记 为 6s， 从 状态 1 到 状态 2 的 分 支 标记 为 s;s， 从 状态 1 到 状态 3 的 分 支 标记 为 ss， 从 状态 1 到 
状态 4 的 分 支 标记 为 ss。。 因 此 状态 1 前 面 的 四 元 数组 (so, s1, ss, 52) 表示 发 源 于 状态 1 的 路 径 的 有 
序 分 支 标记 。 要 对 一 个 输入 比特 流 编 码 时 ， 我 们 沿用 与 卷 积 编码 器 相同 的 程序 。 然 而 对 于 
TCM 的 情况 ， 输 出 是 一 个 符号 序列 而 不 是 比特 序列 。 假 定 我 们 要 为 比特 流 101110001001… 进 
行 编码 ， 首 先 将 输入 序列 按 对 分 组 ， 因 为 每 次 处 理 的 输入 是 2 比特 。 分 组 后 的 输入 序列 为 

10 11 10 00 … 


TCM 编码 器 的 输出 可 以 简单 地 沿 由 输入 序列 指定 的 网 格 中 的 路 径 而 获得 。 第 一 个 输入 对 
是 10， 从 状态 0 的 第 一 个 节点 开始 ， 根 据 输 入 01 的 指示 ， 我 们 穿越 到 第 三 个 节点 ， 这 把 我 们 带 
到 了 状态 2。 这 一 分 支 输出 的 符号 为 ss。 从 状态 2 我 们 说 由 下 一 个 输入 对 11 决 定 的 第 4 个 分 支 移 
动 。 访 分支 的 输出 符号 为 s;,。 按 照 这 种 方式 ， 对 应 于 输入 序列 的 输出 符号 为 


SSs，31，33，33， 


状态 0: so sy ss 


状态 1 ss sz? so 


状态 2: ss 54 56 


状态 3: se st sa3 





图 7-3 对 应 于 输入 序列 10 11 10 00… 的 网 格 中 的 路 径 
网 格 图 中 的 路 径 在 图 7-3 中 用 粗 线 表 示 。 如 在 卷 积 编码 器 的 情况 下 ， 在 TCM 中 也 是 每 一 个 
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编码 后 的 序列 对 应 于 网 格 中 惟一 的 路 径 。 译 码 器 的 目的 就 是 从 网 格 图 中 找 出 这 个 路 径 。 





例 7.3 ”考虑 例 7.2 中 的 TCM 方案 。 该 TCM 方案 的 自由 欧 几 里 得 距离 .可 以 通过 检查 网 格 中 
所 有 可 能 的 路 径 对 得 到 。 网 格 图 中 两 个 由 最 小 欧 几 里 得 距离 平方 分 开 的 路 径 (由 此 导出 dw。) 在 
图 7-4 中 用 粗 线 表 示 。 


S0 S7 5S5 


$5 S2 So 





S3 S4 S56 


S56 SI S3 





图 7-4 网 格 中 两 个 具有 自由 欧 几 里 得 距离 dj 的 路 径 


dhs = dE (so0 57) + dE (so, $0) + dg (5s, 51) 
=62 +0+606=262= 1.172E, 
可 以 看 到 在 这 种 情况 下 ， 造 成 dy 的 错误 事件 并 没有 涉及 全 零 序列 。 正 如 前 面 提 到 的 ， 为 了 求 
得 dr， 我 们 必须 对 网 格 中 所 有 可 能 的 路 径 对 进行 评估 。 因 为 TCM 的 本 质 是 非 线 性 的 ， 因 此 只 
评估 那些 从 金 零 路 径 分 离 后 又 回 到 全 零 路 径 的 路 径 是 不 够 的 。 





我 们 现在 必须 找 出 一 种 将 编码 方案 与 未 编码 情况 相 比较 的 方法 。 下 面 介绍 编码 增益 概念 。 
定义 7.2 要 达到 同样 的 错误 概率 ， 有 编码 的 SNR 和 无 编码 的 SNR 的 值 之 间 的 差 定义 为 编 
码 增 益 (Coding Gain) 8， 
8 = SNR|Fmn — SNR | (7-1) 
在 高 SNR 的 情况 下 ， 编 码 增益 可 以 表示 为 
(4d$/E,) tm 


8 = Blsnr =101og (7-2) 
(dt /E, ) 无 编码 


其 中 8。 表 示 渐 近 编 码 增益 (Asympiotic Coding Gain) ，E, 为 平均 信号 能 量 。 对 无 编码 方案 ， 
dpec 就 是 信号 点 之 间 的 最 小 欧 几 里 得 距离 。 





例 7.4 ”考虑 例 7.2 中 讨论 的 TCM 方案 ， 它 的 编码 器 每 次 输入 2 个 比特 。 如 果 我 们 要 传送 无 编 
码 的 比特 ， 那 么 将 用 到 QPSK。 从 图 7-1 中 可 以 得 到 该 无 编码 方案 《QPSK) 的 dj 为 2E,。 从 例 7.3 
中 我 们 得 到 ， 对 TCM 方案 有 de= 1.172E.。 从 而 渐 近 编码 增益 为 
1172 
2 
这 表明 我 们 的 TCM 方 案 的 性 能 实际 比 无 编码 方案 更 差 。 粗 格 看 一 下 在 这 个 例子 中 用 到 的 


g, = 10 log = -2.3 dB 
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卷 积 编码 器 会 了 解 到 它 在 汉 明 距 离 方 面 有 良好 的 性 质 。 事 实 上 ， 可 以 验证 该 卷 积 编码 器 在 使 
自由 汉 明 距离 最 大 化 方面 是 最 优 的 。 但 是 该 编码 器 对 TCM 的 情况 则 表现 不 佳 。 这 说 明 TCM 方 
案 的 设计 应 该 是 使 欧 几 里 得 距离 最 大 化 ， 而 不 是 汉 明 距离 。 





对 一 个 例 7.2 中 讨论 的 全 连通 网 格 ， 通 过 适当 选取 映射 方案 ， 可 以 提高 其 性 能 。 为 了 设计 
好 的 TCM 方案 ， 可 以 直接 从 网 格 开始 。 我 们 的 目的 是 给 8PSK 信 号 集中 的 8 个 符号 赋值 ， 使 dr 
达到 最 大 值 。 一 种 方法 是 用 计算 机 穷 举 搜索 。 从 时 刻 # ~ ,1 共有 16 个 需要 分 配 标记 (符号) 
的 分 支 ， 我 们 有 8 个 符号 可 以 选取 ， 因 此 穷 举 搜索 需要 涉及 8 种 不 同情 况 |! 

另 一 种 方法 是 探索 性 地 在 网 格 的 分 支 上 分 配 符 号 ， 以 达到 增加 du. 的 县 的 。 我 们 知道 一 个 
错误 事件 由 一 个 从 某 一 状态 分 离 经 过 一 些 变形 后 又 回来 的 路 径 构成 ， 如 图 7-5 所 示 。 这 样 一 个 
错误 的 欧 几 里 得 距离 可 表示 为 

diwa 二 dE (分 离 的 路 径 对 ) 十 … 十 ds (重新 汇合 的 路 径 对 ) (7-3) 
重新 汇合 


pA 网 格 中 的 节点 


图 7-5 一 个 错误 事件 


因此 ， 为 了 设计 TCM 方案 使 de 较 大 ， 我 们 至 少 可 以 保证 履 (分 离 的 路 径 对 ) 和 必 (重新 汇 
合 的 路 径 对 ) 尽 可 能 大 。 在 TCM 方 案 中 ， 在 每 次 发 信号 的 间隙 经 常用 到 元 余 2”"*! 重 信号 集 来 传 
送 m 比 特 。 这 mm 比特 输入 首先 用 码 率 为 m/(m + 1) 的 卷 积 编码 器 编码 ， 得 到 的 (m+1) 比特 输 
出 对 应 到 2”” 重信 号 集 的 信号 点 上 。 现 在 回想 一 下 用 软 判 决 译 码 时 ，AWGN 信 道 的 最 大 似 然 
译 码 规则 就 是 使 接收 到 的 向 量 与 从 网 格 图 中 估算 出 的 码 向 量 的 欧 几 里 得 距离 平方 最 小 《 见 6.7 
节 )。 因 此 映射 是 根据 能 否 使 网 格 中 不 同 路 径 间 的 欧 几 里 得 距离 最 大 来 确定 的 。 这 可 以 通过 一 
种 称 为 集合 分 割 的 映射 完成 。 


7.3 通过 集合 分 割 的 映射 


通过 集合 分 割 的 映射 的 基础 是 连续 将 一 个 扩展 的 2"”' 重 信号 集 分 割 成 最 小 欧 几 里 得 距离 
越 来 越 大 的 子 集 。 每 一 次 我 们 分 割 集合 时 ， 减 少 了 子 集 中 信号 点 的 数量 ， 但 增加 了 子 集 中 信 
号 点 间 的 最 小 距离 。 集 合 分 割 可 以 借助 下 面 的 例子 理解 。 














例 7.5 考虑 8PSK 的 集合 分 割 问题 。 在 分 割 之 前 ， 该 信号 集合 的 最 小 欧 几 里 得 距离 为 A= 6。 
在 第 一 步 ， 该 星座 图 的 8 个 点 被 分 成 两 个 子 集 4o 和 4,， 每 个 子 集中 有 4 个 信号 点 ， 如 图 7-6 所 示 。 
这 第 一 步 的 结果 是 每 个 子 集 的 最 小 欧 几 里 得 距离 现在 为 A = 56， 它 比 原来 8PSK 的 最 小 欧 几 里 得 
距离 大 。 我 们 继续 这 一 过 程 ， 将 集合 4o 和 4 分别 分 割 为 两 个 更 小 的 集合 :4o 一 {4oo, 401} 和 4 一 
{4io, Au}。 这 第 二 步 的 结果 是 每 个 子 集 的 最 小 欧 几 里 得 距离 现在 为 A= 5,。 进 一 步 分 割 将 导致 每 
个 子 集 只 有 一 个 信号 点 。 

芳 虚 用 于 TCM 的 扩展 2"*' 重 信号 集 ， 没 有 必要 将 集合 分 割 进行 到 最 后 一 步 。 只 要 子 集中 
的 最 小 距离 大 于 或 等 于 要 设计 的 TCM 方案 所 期 望 的 最 小 欧 几 里 得 距离 就 可 以 停止 集合 分 割 。 
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假定 在 第 元 + 1 步 集合 分 割 后 得 到 所 期 望 的 欧 几 里 得 距离 Gn<m)， 可 以 看 到 在 第 思 十 1 步 后 我 
们 有 2”*' 个 子 集合 ， 每 个 子 集合 中 含有 2”" ?个 信号 点 。 
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图 7-6 8PSK 信 号 集 的 集合 分 割 





图 7-7 给 出 了 TCM 编 码 器 的 一 般 结构 。 它 包括 m 个 输入 比特 ， 其 中 太 比 特 进入 P/( 抽 十 1) 卷 
积 编码 器 ， 而 剩余 的 m 一 揣 比 特 以 无 编码 状态 保留 。 编 码 器 的 所 十 1 个 输出 比特 连同 m 一 志 个 无 
编码 的 比特 然后 进入 信号 上 映射。 信号 上 映射 用 卷 积 编码 器 输出 的 直 + 1 比特 来 选取 2””' 个 子 集合 
中 的 一 个 ， 剩 余 的 m 一 志 无 编码 比特 用 于 选取 该 子 集合 中 的 2"“ 个 信号 之 一 。 因 此 该 TCM 编 码 
器 的 输入 为 m 比 特 ， 输 出 为 从 原来 星座 图 中 选取 的 一 个 信号 点 。 


Mm~ 方 
mm 无 编码 bit 







m 
输入 bit 


Rate 万/ 声 二 4 


卷 积 编 


m+1 


编码 bit 


图 7-7 TCM 编 码 器 的 一 般 结 构 


对 图 7-7 所 示 的 TCM 编 码 器 ， 我 们 观察 到 这 m 一 所 个 无 编码 的 比特 对 卷 积 编码 器 的 状态 没 
影响 ， 因 为 输入 不 会 改变 。 因 此 我 们 可 以 在 总 的 m 个 输入 比特 中 改变 前 面 的 m 一 记 个 比特 而 不 
改变 编码 器 的 状态 。 这 表明 在 状态 间 存 在 2" ”个 平行 转换 。 这 些 平行 转换 与 集合 分 割 树 最 底 
层 的 子 集中 的 信号 有 关 。 对 m= 所 的 情况 ， 这 些 状 态 由 单个 的 转换 联合 而 成 。 

我 们 记 平 行 转换 之 间 的 最 小 欧 几 里 得 距离 为 A;;;， 网 格 图 的 非 平 行路 径 之 间 的 最 小 欧 几 
里 得 距离 为 dz)。 则 图 7-7 所 示 的 TCM 编码 器 的 自由 欧 几 里 得 距离 可 写 为 

dpu = min [An + 1, dpee (Am)] (7-4) 
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例 7.6 ”考虑 Ungerboeck 提 出 的 TCM 方 案 。 它 的 设计 目的 在 于 使 编码 后 序列 之 间 的 自由 欧 几 
里 得 距离 最 大 。 它 包括 码 率 为 2/3 的 卷 积 编码 器 ， 生 与 8PSK 信 号 集 上 映射 相连 接 。 编 码 器 由 图 7-8 
给 出 ， 而 对 应 的 网 格 图 由 图 7-9 给 出 。 





图 7-8 例 7.6 中 的 TCM 编码 器 


So 


一 人、 一 、 





图 7-9 例 7.6 中 的 编码 器 的 网 格 图 
对 这 个 编码 器 有 闫 = 2 且 市 =1， 表 明 在 每 个 状态 之 间 有 2" 一 =2 = 2 个 平行 转换 。 这 些 平 行 
转换 间 的 最 小 平方 欧 几 里 得 距离 为 
AZaitl 三 A2 一 2 =4E 


网 格 中 非 平行 路 径 间 的 最 小 平方 欧 几 里 得 距离 dr..(5) 由 图 7-9 中 用 粗 线 表 示 的 错误 事件 给 

出 。 从 图 中 我 们 得 到 
Ce (而 ) 二 d 入 (sy 名) 十 绒 (s0, 51) + dB (so, 5s) 
一 52+ 52+ 8 一 4.586 五 

与 平行 路 径 有 关 的 错误 事件 在 所 有 可 能 的 错误 事件 中 具有 最 小 平方 欧 几 里 得 距离 。 因 此 
该 TCM 方 案 的 最 小 平方 欧 几 里 得 距离 为 42,。 = min[A,1,d?。.( 所 )]=4E, 。 该 方案 的 渐 近 编码 增 
益 为 

5 一 i0log 4 ~3dB 


这 表明 由 Ungerboeck 提 出 的 TCM 方案 比 无 编码 的 QPSK 有 3dB 的 改善 。 这 个 例子 阐明 : 组 
合 的 编码 调制 方案 可 以 弥补 由 卷 积 编码 器 的 编码 增益 造成 的 信号 集 扩张 的 损失 。 更 进一步 ， 
对 于 非 平 行路 径 有 ， 
d2 二 他 (分 离 的 路 径 对 ) + … 十 厂 (重新 汇合 的 路 径 对 ) 
二 B62 十 … 十 57 = (62+ 0)+- = 62+… 二 4E+… 
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但 是 ,平行 转换 的 最 小 平方 欧 几 里 得 距离 为 6; = 4E, 。 所 以 ， 该 TCM 方案 的 最 小 平方 欧 
几 里 得 距离 由 那些 平行 转换 决定 。 


7.4 Ungerboeck 的 TCM 设计 准则 


在 1982 年 ，Ungerboeck 提 出 了 一 组 对 TCM 方案 的 设计 准则 ， 以 便 使 得 自由 欧 儿 里 得 距离 
最 大 。 这 些 设 计 准 则 是 建立 在 启发 式 基础 上 的 。 

准则 1:; 平行 较 换 ， 如 果 存 在 的 话 ， 必 须 与 集合 分 割 树 最 底层 的 子 集中 的 信号 相关 联 。 这 
些 信 号 具有 最 小 欧 几 里 得 距离 A;,1。 

准则 2: 发 源 于 或 汇合 于 一 个 状态 的 转换 必须 与 集合 分 割 第 一 步 的 信号 相关 联 。 这 些 信号 
之 间 的 欧 几 里 得 距离 至 少 为 人 。 

准则 3: 所 有 信号 都 以 相同 频率 在 网 格 图 中 使 用 





”人 例 7.7 下 面 我 们 希望 在 例 7.6 中 提出 的 TCM 方案 的 基础 上 进行 改进 。 我 们 观察 到 在 例 7.6 中 
平行 转换 限制 了 d%..。。 因 此 我 们 必须 找到 一 种 没有 平行 转换 的 网 格 。 平 行路 径 的 缺少 表明 ad3.。 
并 不 限制 在 8PSK 星 座 图 中 两 个 信号 点 之 间 最 大 可 能 距离 性 之 内 。 考 虑 图 7-10 所 示 的 网 格 图 ， 
该 网 格 有 8 个 状态 ， 网 格 图 中 没有 平行 转换 。 我 们 希望 根据 Ungerboeck 准 则 用 8PSK 信 和 号 集中 的 
符号 给 该 网 格 中 的 分 支 赋值 。 

因为 这 里 没有 平行 转换 ， 我 们 直接 从 Ungerboeck 的 第 二 条 准则 开始 。 我 们 必须 用 集合 分 
制 第 一 步 中 的 信号 为 发 源 于 或 汇聚 于 某 一 状态 的 转换 赋值 。 对 8PSK 的 集合 分 割 图 我 们 将 参 
照 图 7-6。 集 合 分 割 的 第 一 步 产 生 两 个 子 集 4。6 和 A,， 每 个 子 集中 含有 4 个 信号 点 。 首 先 我 们 关 
注 分 离 的 路 径 。 考 虑 最 上 面 的 节点 (状态 $0)。 我 们 将 信号 so，s4，5; 和 se 赋值 给 这 4 个 分 开 的 
路 径 。 注 意 它们 全 部 属于 子 集 46。 对 下 一 个 节点 (状态 $1,)， 我 们 用 属于 4; 的 信号 s,，ss，53 和 
57 赋值 。 对 下 一 个 节点 《状态 9:) ， 我 们 用 属于 4o 的 信号 94，so，s6 和 3? 赋值。 我 们 把 次 序 打 乱 
了 ， 这 样 在 它们 重新 汇合 时 我 们 仍然 有 集合 分 割 第 一 步 时 的 信号 。 如 果 我 们 观察 汇合 到 状态 
So 的 节点 的 这 四 个 路 径 ， 它 们 的 分 支 被 标记 为 es，ss，sz 和 sc， 它 们 都 属于 4o。 这 种 聪明 的 赋 
值 方式 保证 了 发 源 于 或 汇合 于 同一 状态 的 转换 可 以 用 第 一 步 集合 分 割 时 的 信号 标记 ， 因 此 请 
足 准 则 2。 可 以 验证 所 有 用 过 的 信号 都 有 相同 的 频率 。 我 们 并 不 需要 为 保证 这 一 点 而 做 特别 
的 努力 。 

对 应 于 平方 自由 欧 几 里 得 距离 的 错误 事件 在 网 格 图 中 以 粗 线 表示 。 该 TCM 方案 的 平方 自 
由 欧 几 里 得 距离 为 

的 = 有 (全 ) 二 本 (和 可) 二 用 (于 ) 
一 61+63+ 81 一 4.586 E, 

与 无 编码 的 QPSK 相 比 ， 这 解释 为 渐 近 编码 增益 


g = 10 log 全 = 3.60 (dB) 


故 以 增加 的 编码 和 译 码 复 杂 度 为 代价 ， 对 例 7.6 中 讨论 的 TCM 方 案 ， 我 们 得 到 0.6dB 的 增益 。 
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状态 So: So S4 S2? Se 
状态 S1: st ss ss sy 
状态 Sz: sg so se 5S2 
状态 Ss: Ss S1 SS7 S3 
状态 Ss: S2 5S6 So S$4 
状态 Ss: s3 Sy 5S1 S5 


状态 6: Se sz S4 So 





状态 S7: sy Sa3 Ss 5S1 
图 7-10 例 7.7 中 的 编码 器 的 网 格 图 


例 7.8 考虑 例 7.7 中 讨论 的 8 个 状态 的 8PSK TCM 方案 。 等 价 的 有 反馈 的 系统 编码 器 实现 如 图 
7-11 所 示 。 








a1 C1 


” ”epso 一 
[ ') Tr 


图 7-11 例 7.7 中 TCM 的 编码 器 


我 们 用 输入 和 延迟 的 输入 (关于 卷 积 码 的 解析 表示 见 6.3 节 ) 来 表示 图 7-11 所 示 的 卷 积 编 
码 器 。 从 图 中 我 们 得 到 























c(D)= a(D) 
czCD) = a,(D) 








0 3 
G(D) = 1 + 


因而 满足 G(D) + 吾 "(D)=0 的 奇偶 校 验 多 项 式 矩 阵 豆 (D) 为 
H(D)=[D’ D 1+D] 
我 们 可 以 将 奇偶 检验 多 项 式 矩 阵 重新 写 为 BF(D)= [HI(D) H,(D) PCD)]， 其 中 
H(D)=D’= (000 100) m= (04) gm 
HAD)=D=(000 010)_ tm = (02) 
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表 7-1 给 出 了 为 8PSK 信 号 星座 构建 的 好 的 TCM 码 的 编码 器 实现 和 渐 近 编码 增益 。 几 平 所 
有 这 些 TCM 方 案 都 是 由 计算 机 穷 举 搜索 找到 的 。 编 码 增益 是 相对 无 编码 的 QPSK 给 出 的 。 奇 
偶 校 验 多 项 式 用 八进制 形式 表示 。 


表 7-1 用 8PSK 的 TCM 方 案 





状态 个 数 HAH 五 : H, dhedE, g-(dB) 

4 一 2 5 4.00 3.01 

8 04 02 11 4.58 3.6 

16 16 04 23 5.17 4.13 

32 34 16 45 5.75 4.59 

64 066 030 103 6.34 5.01 

128 - 122 054 277 6.58 S.17 
256 130 072 435 7.51 5.75 


例 7.9 ”我 们 现在 来 看 一 个 涉及 16QAM 的 TCM 方案 。 该 TCM 编码 器 接收 3 比特 输入 后 输出 
是 16QAM 星 座 图 中 的 一 个 符号 。 该 TCM 方案 的 吞吐 量 为 3bits/Hz， 我 们 将 把 它 与 无 编码 的 吞 
吐 量 也 为 3biVs/Hz 的 8PSK 进 行 比较 。 

设 该 16QAM 信 和 号 星座 图 两 点 之 间 的 最 小 距离 为 6， 如 图 7-12 所 示 。 假 定 所 有 信和 号 是 等 概 
率 的 ， 则 该 16QAM 信 和 号 的 平均 信和 号 能 量 可 由 下 式 得 到 ， 


E= 到 2523 + 1062 + 1052+1853) 一 6 


国史 本 
故我 们 得 到 
到 
60 = 2 
10 
eo. 
eoe 
有 思 四 四 扣 
Ao=6o e。eene 
Aoe0 oeoe 
= owose eoeo 
A1 250 2 2 28Ao Al oeoe 
ooeoe @oe@O 
4o99 Oo0ooo0o Oppo@ O00o0o0 
ooo ooeoe oooo @oe@o 
Az=260 4oeoAoo Aioo o oo oeoeAol Aiiooeo 
oooo ooeoe oooo ©oe@Do 
ooo ooeo oooo oooo oeoo oooe oooeo oooo 
-255oecoe 0000 beee eeece O000 oooo B000 ooe@eo 
As=2J2hoooeo @000 oooo oooo oooe oeocoo oocooo oooo 
oooo oooo oooe oeoo oooo 0000 ooeoco wooo 
Aooo A1o0 Ao1o Al110 Aoo1 Ato1 Ao11 A111 


图 7-12 16QAM 的 集合 分 割 
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该 16QAM TCM 方案 的 网 格 图 由 图 7-13 给 出 。 该 网 格 有 8 个 状态 ， 每 一 个 节点 有 8 个 由 此 发 
出 的 分 支 ， 因 为 编码 器 每 次 接受 3 比特 的 输入 (23=8)， 图 7-14 给 出 了 该 编码 器 的 实现 。 我 们 
根据 Ungerboeck 的 设计 准则 来 对 不 同 分 支 赋值 不 同 的 符号 。 从 一 个 节点 分 离 和 汇聚 到 一 个 节 
点 的 分 支 将 用 集合 4o 和 4 中 的 符号 赋值 。 平 行路 径 将 用 集合 分 割 树 的 最 底层 〈(4oo，4oi 等 ) 
的 符号 赋值 。 

任意 两 个 平行 路 径 间 的 平方 欧 几 里 得 距离 为 A = 852 ， 这 是 根据 设计 得 到 的 ， 因 为 我 们 用 
集合 分 割 树 最 底层 的 符号 赋值 。 非 平行 路 径 间 的 最 小 平方 欧 几 里 得 距离 为 

di = A:+A? +A? = 562 
因此 ， 该 TCM 方案 的 自由 欧 几 里 得 距离 为 
dis = min [868, 562 ] = 562 = 2E, 


注意 自由 欧 几 里 得 距离 由 非 平行 路 径 而 不 是 平行 路 径 决定 。 我 们 现在 将 该 TCM 方案 与 具有 同 
样 知 吐 量 的 无 编码 8PSK 进 行 比较 。 对 无 编码 8PSK， 最 小 平方 欧 几 里 得 距离 为 (2- V2)E, 。 故 
该 TCM 编码 器 的 渐 近 编码 增益 为 


i 10log 了 一 地 5.3 (dB) 





状态 So: Aooo Aioo Ao10 At10 | 
状态 S1 Aoot Ato1 ho A111 
状态 Sz Aooo hioo At10 hot10 < 经 

状态 Sa: At0o1 Aoo1 AN11 Ao11 VD 
状态 S4: Aot0 Atto Aoo0 Ato0 SW 
状态 Ss: Aot1 A111 Aoof Ato1 
状态 Se: Ano Aoto Atoo Aooo 少 , > 


状态 Sy: AN11 ho Aiof Aoo1 








图 7-13 16QAM TCM 方 案 的 网 格 图 








图 7-14 与 图 7-13 中 网 格 图 等 价 的 系统 编码 器 





7.5 TCM 译 码 器 
我 们 已 经 看 到 ， 就 像 卷 积 码 一 样 ，TCM 方 案 也 用 网 格 图 来 描述 。 任 何 TCM 编 码 器 的 输入 
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序列 都 根据 该 网 格 图 编码 成 一 个 符号 序列 。 编 码 后 的 序列 对 应 于 网 格 图 中 的 一 个 特殊 路 径 。 
在 编码 序列 和 网 格 中 的 路 径 之 间 存 在 一 一 对 应 关系 。TCM 译 码 器 的 任务 只 是 识别 网 格 中 最 可 
能 的 路 径 ， 它 的 依据 是 最 大 似 然 准 则 。 正 如 在 第 6 章 中 看 到 的 ， 一 种 有 效 的 搜索 方法 是 用 维特 
比 算法 ( 见 6.7 节 )。 

对 用 维特 比 算法 接收 序列 的 软 判 决 译 码 ， 每 一 个 网 格 分 支 都 根据 观察 到 的 所 接收 的 序列 
标记 分 支 尺 度 。 对 加 性 白 高 斯 噪声 ‘AWGN) 信道 使 用 最 大 似 然 译 码 器 时 ， 分 支 尺度 定义 为 
编码 序列 和 接收 序列 之 间 的 欧 几 里 得 距离 。 维 特 比 译 码 器 在 网 格 中 找到 一 个 在 欧 几 里 得 距离 
度量 下 最 靠近 接收 序列 的 路 径 。 


定义 7.3 ”为 AWGN 信 道 设计 的 TCM 方案 的 分 支 尺 麻 为 接收 到 的 信号 与 对 应 网 格 中 分 支 的 
信号 间 的 欧 几 里 得 距离 。 


在 下 一 节 中 我 们 学 习 AWGN 信 道上 TCM 方 案 的 性 能 ， 同 时 给 出 一 些 设计 规则 。 


7.6 AWGN 信 和 道 性 能 评估 


对 AWGN 信 道 设计 的 TCM 方 案 有 不 同 的 性 能 度量 。 我 们 已 经 讨论 了 渐 近 编码 增益 ， 它 建 
立 在 自由 欧 几 里 得 距离 d;。. 的 基础 上 。 我 们 现在 将 学 习 用 来 刻画 TCM 码 的 其 他 一 些 参数 。 

定义 7.4 自由 距离 上 最 近邻 居 的 平均 数 N(dj。) 给 出 的 是 网 格 中 与 被 传送 序列 相距 为 自由 
欧 几 里 得 距离 di 的 路 径 的 平均 数 。 这 个 数字 与 ds 一 起 用 作 估 工 错误 事件 的 概率 。 

定义 7.5 网 格 中 两 个 有 限 长 路 径 如 果 从 同一 状态 开始 ， 分 开 后 又 汇聚 ， 则 它们 形成 一 个 
错误 事件 。 长 度 为 /的 错误 事件 根据 两 个 编码 序列 s, 和 35, 来 定义 ， 


Sn 二 (Sn, So+l 1 Sntltl ) 
Sn 一 (2 5 a 
满足 
5 一 8 
Sntltl 二 Sntl+l (7-5) 
Af i=n+l, ,n+l 


定义 7.6 ”在 译 码 器 估算 了 时 刻 n 正 确 的 发 射 器 状态 的 条 件 下 ， 始 于 时 刻 n 的 错误 事件 的 概 
率 称 为 错误 事件 概率 P,。 


TCM 方案 的 性 能 一 般 用 错误 事件 概率 的 上 界 来 评估 ， 这 是 根据 生成 函数 处 理 方 法 得 到 的 。 
我 们 再 一 次 考虑 码 率 为 m/(m 十 1) 的 TCM 方案 的 Ungerboek 模 型 ， 如 图 7-7 所 示 。 编 码 跨 每 次 接 
受 m 比 特 并 编码 后 得 到 mm 十 1 比特 ， 然 后 由 无 记忆 映射 函数 用 .) 映射 到 一 个 符号 s;,。 我 们 称 这 个 
二 元 (m 十 1) 数组 cj 为 信号 s; 的 标记 。 我 们 观察 到 在 符号 和 其 标记 之 间 有 一 一 对 应 关系 。 因 此 
长 度 为 /的 一 个 错误 事件 可 以 等 价 地 用 下 面 的 两 个 标记 序列 描述 : 


CI 一 (co ct C01) 和 CI 一 (和 cb) (7-0) 


其 中 cf 一 儿 国外 ec 一 和 1 国 贞 站 县 盏 =(e en BirL1) 为 一 个 二 元 错误 向 量 序列 。 数 
学 符号 田 表 示 二 元 ( 模 2) 加 法 。 当 译 码 器 没 选择 传送 的 序列 C1/， 而 是 选择 了 C'|， 它 对 应 网 格 
图 中 从 原来 传送 的 路 径 分 开 之 后 经 过 [个 时 间 间 隔 后 又 汇聚 的 路 径 ， 这 就 产生 了 一 个 长 度 为 /的 
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错误 事件 。 要 求 出 错 概率 ， 我 们 需要 对 1! 的 所 有 可 能 值 求 长 度 为 [的 错误 事件 〔 即 当 传送 C ,而 检 
测 到 C "的 概率 ) 的 和 。 错 误 概 率 上 界 通过 下 面 的 联合 界 获得 : 
2< 之 之 Por)Plso) (7-7) 


=18 sf 8 
其 中 Pl(si, s') 表示 双 事 件 错误 概率 〈 即 传送 序列 8 而 检测 到 的 序列 为 8 的 概率 ) 。 假 定 符 号 和 它 
的 标记 之 间 的 一 一 对 应 关系 ， 我 们 可 以 写 为 


p<55 2 P(C)P(C,, Ci) 


l=1Cr: Ci*Cr 


= YE Frc)P(C,C © ) 


l=1C: Bl #0 


双 事 件 错误 概 举 PJ(C,, CEB) 的 上 界 可 以 用 Bhattacharyya 界 (参见 习题 7.12) ， 如 下 所 示 


(7-8) 


1 A 
已 (Ch C,@®E) < | 忘 wo-AeoP] 


1 4 ,oy (7-9) 
-| 霹 ey-neem | 


一 
-| 
其 中 11.112 代 表 平 方 欧 几 里 得 距离 而 拟 .) 为 无 记忆 映射 函数 。 设 万 =e LW|」 ( 边 功率 谱 密 度 为 
Ao 的 加 性 白 高 斯 咖 声 信道 ) ， 则 
BC ,C @ E,) < DUO ACT -= DECGNAC (7-10) 


其 中 dzU(CD,AC')) 表示 符号 序列 s, 和 s' 之 间 的 平方 欧 几 里 得 距离 。 下 面 定 义 函 数 


W({E,) = > PIC D/C)- /OBE (7-11) 
; 
我 们 现在 可 以 把 错误 概率 写 为 
Dh < 过 2 Wl) (7-12) 
从 上 式 我 们 观察 到 错误 概率 的 上 界 是 所 有 可 能 错误 事件 巨 的 和 。 注 意 
dE fC /Ci @ Ei) = Ya), fl @6)) (7-13) 


I=1 


我 们 现在 介绍 错误 状态 图 的 概念 ， 它 实质 上 是 一 个 分 支 有 和 矩阵 标记 的 图 。 我 们 假设 信 源 
符号 等 可 能 地 以 概率 2 “= LAM 出 现 。 


定义 7.7 错误 重量 矩阵 C(e') 是 一 个 Yx 阶 和 矩阵 ， 它 的 第 p 行 第 49 列 的 元 素 定义 为 


1 > Der-or7e-eee 著 存 在 从 状态 p 到 gq 的 转换 
iG(e)],, -1M A (7-14) 
0 著 网 格 中 不 存在 从 状态 p 到 9g 的 转换 


其 中 c, ,为 从 状态 p 到 状态 9 转换 时 产生 的 标记 向 量 。 
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上 述 求 和 构成 了 网 格 图 中 状态 间 可 能 的 平行 转换 。 和 扼 阵 G 中 位 置 (p, 4) 的 元 素 提 供 了 开 
始 于 节点 p 且 终止 于 节点 g 的 错误 事件 概率 的 上 界 。 类 似 地 ，(1/N)G1 是 一 个 向 量 ， 它 的 第 p 个 
元 素 为 开始 于 节点 p 的 所 有 错误 事件 概率 的 上 界 。 现 在 ， 对 任意 序列 E,= el, e;, .…, e/， 有 一 个 
相应 的 /个 错误 重量 矩阵 G(e), G(e,), …, Glei) 的 序列 。 因 此 ， 我 们 有 


WE,) = i1 "II Gle,)l (7-15) 


其中 1 是 元 素 全 为 1 的 N 维 列 向 量 ， 我 们 得 到 下 面 的 观察 结果 : 
(1) 对 任意 矩阵 4，L141 表 示 4 中 所 有 元 素 的 和 。 


(2) 矩阵 [Ge 中 位 置 (p, 9) 的 元 素 列举 了 从 状态 p 到 状态 4 恰好 ! 步 转换 中 涉及 的 欧 几 


里 得 距离 。 

我 们 的 下 一 步 工 作 就 是 将 上 面 的 分 析 同 错误 概率 P. 联 系 起 来 。 应 注意 到 错误 向 量 e,, e;， 
… 2 不 是 独立 的 。 错 误 状 态 图 的 结构 仅 决 定 于 线性 卷 积 码 ， 且 仅 在 它 的 状态 及 分 支 标记 
(G(e)) 上 不 同 于 码 状 态 图 。 因 为 错误 向 量 ei 只 是 向 量 c 上 的 差 ， 向 量 e; 之 间 的 联系 同 向 量 c， 
之 间 的 联系 是 一 样 的 。 因 此 ， 由 式 (7-12) 和 式 (7-15) 我 们 有 


已 <7(D)lp -am (7-16) 
其 中 
二 117 - 
T(D= 六 7 G1 (7-17) 
且 抵 阵 
oo 1 
G=> II Gle) (7-18) 
l=1E*0 "=! 


是 错位 状态 图 的 矩阵 转移 函数 。T(D) 称 为 错误 状态 图 的 标量 转移 函数 或 简称 为 转移 函数 。 





例 7.10 考虑 码 率 为 /2 的 TCM 方 案 ， 其 中 m=1 且 M = 二 4。 它 每 次 接受 一 比特 并 把 它 编码 成 为 
二 比特 ， 然 后 映射 到 四 个 QPSK 符 号 中 的 一 个 。 丙 个 闫 态 的 网 烙 图 及 4pSKC 星 座 中 符号 的 分 配 由 
图 7-15 给 出 。 


01 








图 7-15 两 个 状态 的 网 格 图 
将 错误 向 量 表示 为 e= (e: e)。 于 是 由 式 (7-14) 可 得 
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GL _1 DIA(o0)-Aoo@ea 有 PIGao-Auoeea 站 
2221) = 了 | plf(01)- Aloleeaa) 有 2 IO- AD@eaet)E2 
D D 


1 | DAtoo)- /lee 站 DIAGO- aa 站 
”2| Don- fa DUO 7 下 (7-19) 


其 中 e=1@9e。 该 TCM 方案 的 错误 状态 图 由 图 7-16 给 出 。 


G(10) o G(01) 


So S1 So 





图 7-16 错误 状态 图 
该 错误 状态 图 的 矩阵 转移 函数 为 
G=6G(0IPD -G(10)]! GCO1) (7-20) 
其 中 7, 是 2 x 2 阶 单位 矩阵 。 在 此 情况 下 只 有 三 种 可 能 的 错误 向 量 ，{01，10，11}。 由 式 (7-19) 
我 们 可 以 计算 出 
a 
利用 式 (7-20) 我 们 得 到 错误 状态 图 的 矩阵 转换 函数 为 








6 Fl 1 
6 -二 | | (7-21) 
从 而 标量 转换 函数 7(D) 可 由 下 式 给 出 
rD = L176G1=. 2 (7-22) 
2 1- D? 
-| 二 | 
通过 将 D=e |“) 代 入 式 (7-22) 中 即 得 错误 概率 的 上 界 





例 7.11 考虑 另 一 个 码 率 为 112 的 TCM 方案 ， 其 中 让 = 1 且 M=4。 它 的 两 个 网 格 图 同 例 7.10 
中 的 一 样 。 但 是 从 4PSK 星 座 的 符号 分 配 是 不 同 的 ， 由 图 7-17 给 出 。 


01 








图 7-17 两 个 状态 的 网 格 图 
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注意 该 符号 分 配 违 背 了 Ungerboek 设 计 原理 。 我 们 仍然 记 错 误 向 量 为 e==(e, e1)。 该 TCM 方 
案 的 错误 状态 图 由 图 7-18 给 出 。 


G(11) G(01) 
oO— ” QO 一 一 人 


So 5S1 So 


图 7-18 错误 状态 图 





该 错误 状态 图 的 矩阵 转换 函数 为 
G = GOD -GOT GO]) (7-24) 


其 中 1 是 2x 2 阶 单位 矩阵 。 在 这 种 情况 下 只 有 三 种 可 能 的 错误 向 量 {01，10，11}。 由 式 (7-19) 
我 们 计算 出 





_1P PD 1TD4 Dp’ 1fD? p? 
coon- 雪 | 2 cuo- 引 2 ?| 和 G(11)= #2 2,| 
利用 式 (7-23) 我 们 得 到 错误 状态 图 的 矩阵 转换 函数 为 
-1_2 [il - 
“2D | 17725) 
从 而 标量 转换 函数 T(D) 可 由 下 式 给 出 
Dt (7-20) 
TD = F161= 二 
于 是 错误 概率 的 上 界 为 
4 -1 
P< tr Dae Mo (7-27) 


比较 式 (7-23) 和 式 (7-27) 可 知 ， 仅 仅 通 过 改变 网 格 图 中 对 分 支 的 符号 分 配 ， 就 可 以 很 大 程 
度 地 降低 其 性 能 。 在 第 二 个 例子 中 ， 错 位 概率 的 上 界 放松 了 两 个 量 级 (假设 D<<1， 即 SNR 很 
高 的 情况 )。 

错误 事件 概率 的 一 个 更 紧 的 上 界 为 ( 留 作 习题 ) 


d? ee —l_ 
P< | fee } 4 TD)|p, tm (7-28) 
2° [YY aN 


根据 式 (7-28)， 一 个 对 错误 事件 概率 的 渐 近 估计 可 以 通过 只 考虑 自由 欧 几 里 得 距离 满足 下 式 的 


错误 事件 来 得 到 
_1 | de _ 
P, = 7 N(d pee) erfe | aN | (7-29) 


通过 一 些 与 各 错误 向 量 相关 联 的 不 正确 的 输入 比特 数目 可 以 求 得 成 对 事件 的 错误 概率 ， 然 后 
将 结果 除 以 m 就 得 到 比特 错误 概率 的 上 界 。 因 此 
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i 
-etN (7-30) 


pel 97D,.D | 
bom ol {=1D 


其 中 TD, DD 为 修改 的 状态 图 的 扩展 生成 函数 (augmented generating function)。 修 改 的 状态 图 
的 概念 在 6.5 节 介绍 。 我 们 也 可 以 得 到 如 下 比特 错误 概率 的 更 紧 上 界 ， 


dYee 
P< ere dee 4No 9T(D,D) 
“ 2m 4No al . 1 
1=1, D=e 4No 


从 式 (7-31) 中 我 们 观察 到 比特 错误 概率 的 上 界 取决 于 di..。 在 下 一 节 中 ， 我 们 将 学 习 一 些 计 
算 dr 的 方法 。 


(7-31) 








7.7 dnee 的 计算 


我 们 已 经 看 到 欧 几 里 得 自由 距离 ds 是 决定 AWGN 信 道 的 TCM 方 案 好 坏 的 最 重要 的 参数 。 
它 定义 了 该 方案 的 渐 近 编码 增益 。 在 6.5 节 中 我 们 看 到 生成 函数 可 以 用 来 计算 汉 明 自由 距离 di.。。 
错误 状态 图 的 转换 函数 T(D) 包括 网 格 中 所 有 路 径 与 全 零 路 径 的 距离 信息 。 如 果 7(D) 以 封闭 形 
式 获得 ， 则 dwr. 的 值 可 以 直接 从 其 寡 级 数 展开 式 中 得 到 。 转 换 函 数 TLD) 可 以 写 为 


T(D=N(ds) De + Nd 


next 


其 中 dew 是 次 小 平方 欧 几 里 得 距离 。 故 在 级 数 展开 式 中 DD 的 最 小 指数 为 dj。。。 但 是 在 大 多 数 情 
况 下 ， 可 能 得 不 到 封闭 形式 的 T(D)， 我 们 不 得 不 求助 于 数值 方法 。 
接 下 来 考虑 函数 


) Dee 十 … (7-32) 





¢1(D) =In Ei 


元 (7-33) 


则 随 着 D 一 0，91(D) 将 单调 趋 于 极限 值 45。。。 因 此 在 D>0 的 条 件 下 我 们 得 到 d$。. 的 一 个 上 界 。 
为 了 得 到 df 的 下 界 ， 考 虑 下 面 的 函数 





In7D) 7-34 
t(D) = nD ( ) 

在 式 (7-32) 两 边 取 对 数 得 到 
dhuln D=In T(D) -In N(dsw) -In [ + NM Diext -do | (7-35) 


在 D>0 的 条 件 下 ， 令 D 一 0， 则 由 式 《7-34) 和 式 (7-35) 得 到 
ln T(D) 
InD 
其 中 a(D) 大 于 零 且 随 D 一 0 而 单调 趋 于 零 。 所 以 当 我 们 给 1(D) 和 加 (D) 取 越 来 越 小 的 值 时 ， 可 
以 得 到 非常 接近 de 的 值 。 
应 该 记 住 ， 尽 管 d. 是 决定 TCM 方案 质量 的 最 重要 的 参数 ， 但 另 两 个 参数 也 有 影响 : 
(1) 错误 系数 N(ds。.): 在 错误 率 为 10 “时 ， 该 错误 系数 每 增 一 倍 就 会 使 编码 增益 下 降 大 约 
0.2dB 。 





= df ~ ElD) (7-36) 
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(2) 次 距离 4: 它 是 形成 一 个 错误 事件 的 两 个 路 径 间 次 小 欧 几 里 得 距离 。 若 di 与 dy 很 
接近 ， 则 对 忆 .的 上 界 好 的 近似 需要 有 很 大 的 SNR。 

到 目前 为 止 ， 我 们 的 注意 力主 要 集中 在 AWGN 信 道上 。 我 们 发 现 最 好 的 设计 策略 是 使 码 
的 自由 距离 ds 最 大 。 在 下 一 节 中 ， 我 们 将 考虑 衰退 信道 的 TCM 方 案 设 计 规则 。 这 里 只 想 提醒 
读者 ， 衰退 信 道 在 无 线 电 和 移动 通信 中 经 常 遇 到 。 造 成 豪 退 的 一 个 常见 原因 是 传播 媒体 的 多 
路 性 。 在 这 种 情况 下 ， 信 号 从 不 同 的 路 径 〈 时 间 也 有 差别 ) 到 达 接 收 端 ， 然 后 至 加 在 一 起 。 
根据 来 自 不 同 路 径 的 信号 是 相位 累加 还 是 相位 分 离 ， 下 一 个 收 到 的 信号 呈 随 机 变化 的 振幅 和 
相位 。 接 收 信号 振幅 的 下 降 〈 低 于 门限 值 ) 程度 称 为 衰退 。 


7.8 衰退 信道 的 TCM 


在 本 节 中 ， 我 们 将 考虑 衰退 信道 上 网 格 编码 的 M-- 元 相 移 键 控 (MPSK) 的 性 能 。 我 们 知 
道 一 个 TCM 编码 器 接受 一 个 比特 流 输入 并 输出 一 个 符号 序列 。 在 这 种 情况 下 我 们 将 假设 所 有 
这 些 符号 s; 都 属于 MPSK 信 号 集 。 通 过 复数 记号 ， 每 个 符号 可 以 表示 为 复 平面 上 的 一 个 点 。 为 
了 使 变化 很 慢 的 衰退 过 程 造成 的 突 发 错误 得 以 扩散 ， 我 们 对 编码 信号 进行 交错 。 这 些 交 错 后 
的 符号 再 变 成 脉冲 信号 以 达到 无 符号 间 于 扰 ， 最 后 转化 为 RF 频率 在 信道 中 传送 。 信 道 通 过 加 
和 人 衰退 增益 (这 是 负 增 益 或 正 丢 失 ， 取 决 于 我 们 怎么 看 待 ) 和 AWGN 来 破坏 这 些 传送 的 符号 。 
在 接收 端 ， 收 到 的 序列 经 过 解 调和 量化 用 于 软 判决 译 码 。 在 许多 实现 中 ， 信 道 评估 者 估算 信 
道 增益 ， 它 也 称 作 信 道 状 态 信息 。 所 以 我 们 可 以 把 在 时 刻 接 收 到 的 信和 号 表示 为 

ni=8 tn (7-37) 
其 中 心 为 均值 为 零 、 方 盖 为 No/2 的 高 斯 噪声 过 程 的 一 个 采样 ，8; 为 复 信道 增益 ， 也 是 方差 为 of 
的 复 高 斯 过 程 的 一 个 采样 。 复 信道 增益 可 以 用 相位 量 符号 具体 写 为 

8; = Cie 坊 (7-38) 
其 中 aj 和 分 别 为 振幅 和 相位 过 程 。 我 们 现在 做 下 面 的 假设 ; 

(1) 收 信 人 做 连贯 的 检测 。 

(2) 交错 过 程 是 理想 的 ， 这 表明 衰退 幅度 是 统计 无 关 的 ， 而 且 信 道 可 以 作为 无 记忆 的 。 

因此 我 们 可 以 写 为 

T=a5+n, (7-39) 


我 们 知道 对 一 个 设 有 直接 路 径 而 只 有 扩散 多 路 径 的 信道 ， 衰 退 幅 度 服从 Rayleigh 分 布 ， 而 
概率 密度 函数 (pdf) 为 
pa (® = 9ae-®, a>0 (7-40) 
当 除 扩散 多 路 径 外 还 有 一 个 直接 路 径 时 ， 观 察 到 的 结果 是 Rician 豪 退 。Rician 豪 人 退 幅 度 的 
概率 密度 函数 为 
pa (@ = 2a(l+ K)e- +e (K+ (2aVKU+ K)) (7-41) 
其 中 心 (,) 为 零 级 改进 的 第 一 类 贝 塞 耳 函数 (Bessel Function)，K 为 如 下 定义 的 Rician 参 数 。 
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定义 7.8 ”Rician 和 参数 K 定 义 为 直接 路 径 能 量 与 扩散 多 路 径 能 量 的 比值 。 对 尺 =0 的 极端 情 
况 ，Rician 分 布 的 概率 密度 函数 与 Rayleigh 分 布 的 概率 密度 函数 相同 。 


我 们 现在 来 看 衰退 信道 上 TCM 方案 的 性 能 。 设 mm = (mr ra， ra) 为 接收 到 的 信号 。 则 通常 
用 维特 比 译 码 器 来 实现 的 最 大 似 然 译 码 器 选取 与 收 到 的 信号 最 相似 的 编码 序列 。 这 可 以 通过 
计算 接收 信号 序列 x 和 可 能 传送 的 信号 s/ 之 间 的 尺度 而 得 。 我 们 前 面 已 经 看 到 ， 该 尺度 与 下 面 
的 条 件 信道 概率 有 关 











my, $1) = In p (rls) (7-42) 
如 果 将 信道 状态 信息 也 用 上 ， 则 该 尺度 变 为 
mi{r, $1 a) = ln p (rls, @)) (7-43) 
在 理想 交错 的 假设 下 ， 信 道 是 无 记忆 的 ， 从 而 这 些 尺度 可 以 用 下 面 的 和 式 表 示 
mo $7 = >m plrlsi) (7-44) 
且 
mt 6) = Sin ptrlsis a) (07-45) 
我 们 首先 考虑 信道 状态 信息 已 知 的 情况 ， 即 和 =w。 此 时 上 述 尺度 可 以 写 为 | 
mr 55; 0) = harsh 0-46) 
因此 ， 成 对 事件 错误 概率 可 表示 为 
Palsn $1) = Ea [Psp 中 ai (7-47) 
其 中 
Po $ila) = Plmrs $1; i) > m(rs si; alai] (7-48) 
E 是 统计 期 望 算 子 。 用 Chernoff 界 ， 可 以 求 得 成 对 事件 错误 概率 的 上 界 为 
! 1+K KN ls 
RBG)< [oT ep -QQ (7-49) 
四 上 1+ Kk- S| 


对 高 SNR 的 情况 ， 上 述 方程 可 简化 为 


Pls,, 中 < Il 1 





E (7-50) 


其 中 1 为 所 有 满足 8 关 3 的 的 集合 。 我 们 记 ? 中 元 素 个 数 为 mn， 则 可 以 写 为 
((1+ K)e-*)" 


1 in 2 (7-51) 
[志和 2 (hs) 


Bls, §) < 





其 中 
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dD “Ts -So (7-52) 
为 信号 %x#$ 的 平方 乘积 距离 。 其 中 的 项 /, 称 为 错误 事件 (s;, $,) 的 有 效 长 度 。 错 误 事 件 概 率 P。 
的 一 般 情 况 下 的 界 在 前 面 已 经 讨论 过 。 对 高 SNR 的 情况 ，P. 的 上 界 可 表示 为 
, ] 天 Ver 用 和 
P.< 之 之 cl dy Oe (7-53) 
n dp ln) | 各 全) 
4No 
其 中 af[ 放 ,ao(0)] 为 有 效 长 度 为 加 且 平方 乘积 距离 为 必 (1) 的 码 序 列 的 平均 数 。 错 误 事件 概率 实 
际 主 要 由 最 小 有 效 长 度 !, 和 最 小 乘积 距离 42(1,) 决定 。 我 们 记 最 小 有 效 长 度 必 为 二 ， 其 相应 乘积 
距离 为 45(L)， 则 错误 事件 概率 可 以 近似 表示 为 


十 下 je- 天) 
已 = a (L, d? (DD) 0 (7-54) 
[去 | ds (7) 
4No 


从 式 (7-54) 我 们 观察 到 下 列 结论 ，: 

(1) 错误 事件 概率 随 SNR 的 L 次 备 而 渐 近 变化 。 这 与 由 时 间 差 异 技术 得 到 的 结果 是 相似 的 。 
因此 ，L 又 称 为 该 TCM 方 案 的 时 间 差 异 。 

(2) 衰退 信道 TCM 设计 重要 的 参数 为 时 间 差 异 L 和 乘积 距离 必 (L)。 这 与 AWGN 信 道 的 自由 
欧 儿 里 得 距离 参数 不 同 。 

(3) 为 AWGN 信 道 设 计 的 TCM 码 在 用 于 衰退 信道 时 性 能 很 差 ， 反 过 来 也 一 样 。 

(4) 对 大 的 Rician 参 数值 XK。 自 由 欧 几 里 得 距离 对 TCM 方 案 性 能 的 影响 占 主导 地 位 。 

(5) 在 低 SNR 的 情况 下 ， 自 由 欧 几 里 得 距离 又 对 TCM 方 案 的 性 能 起 到 重要 作用 。 

因此 ， 衰 退 信 道 的 TCM 方 案 的 基本 设计 规则 在 高 SNR 和 小 的 K 值 的 情况 下 为 

(1) 使 码 的 有 效 长 度 Z 最 大 化 ， 且 

(2) 使 最 小 乘积 距离 改 ( 六 达到 最 小 值 。 

考虑 一 个 有 效 长 度 为 L 且 最 小 乘积 距离 为 45.(L) 的 TCM 方案 。 假 设 码 被 重新 设计 后 产生 具 
有 相同 Z 的 最 小 乘积 距离 ，dw(Z)。 因 最 小 乘积 距离 的 增加 而 产生 的 编码 增益 表示 为 
ds, (Lo 
dy (Lo 


其 中 ai (i= 1, 2) 为 有 效 长 度 为 L 的 TCM 方 案 ; 的 码 序列 平均 数 。 我 们 观察 到 对 一 个 固定 的 L 值 ， 
增加 最 小 乘积 距离 使 之 对 应 于 一 个 更 小 的 L 值 对 改善 码 的 性 能 更 有 效 。 
我 们 假设 已 经 提供 信道 状态 信息 。 当 信道 状态 信息 未 提供 时 ， 可 以 采用 类 似 于 信道 状态 
信息 已 提供 的 情况 予以 分 析 。 在 缺少 信道 状态 信息 的 情况 下 ， 尺 度 可 以 表示 为 
m (rs 站 全 一 -| sl 《7-56) 


经 过 一 些 数学 变换 后 ， 可 以 证 明 


Ag= SNR ~ SNRa|p, -= 了 log (7-55) 
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(2e/4,) pT - 
Blsn $1) < 1 1 < 了 
(1/N,)™ dplln) 
用 前 面 讨论 的 论据 可 知 ， 在 信道 状态 信息 未 提供 的 情况 下 也 可 以 确定 错误 事件 概率 P.。 
7.9 空 时 网 格 码 


空 时 网 格 玛 (Space Tim Trellis Code，STTC) 是 一 个 为 多 天 线 发 射 的 编码 技术 。STTC 是 
TCM 方案 ， 其 中 网 格 的 每 一 个 分 支 均 用 对 应 于 由 六 发射 天 线 传 输 的 N, 个 信和 号 进行 标注 。 


(7-57) 


Kk 





] 
(I+ Ke " 





例 7.12 ”图 7-19 描 绘 了 一 个 使 用 4PSK 的 2STTC。 其 中 边 附近 的 标注 是 cc ， 其 中 cj, 是 由 天 
线 @ 传 输 的 ，c: 是 由 天 线 四 传输 的 。 


4PSK 00 01 02 03 


10 11 12 13 


2021 22 23 


30 31 32 33 
图 7-19 2STTC,4PSK, 4 状态 ，2 bit/s/HZ 


假定 接收 端 是 理想 的 信道 状态 信息 ， 要 对 STTC 码 进行 解码 ， 我 们 需要 使 用 向 量 维特 比 算 
法 (vector Viterbi algorithm)。 假 设 /是 在 时 刻 ! 接 收 天 线 j 接 收 的 信和 号， 是 从 发 射 天 线 i 到 接 
收 天 线 / 的 路 线 收 益 ， 对 标注 为 gg? …9 的 切换 的 分 支 度量 为 


Ar Ai 2 


> rr — 之 ayq! 
其 中 N, 是 接收 天 线 的 数目 。 
维特 比 算法 用 来 计算 具有 最 低 累 积 度量 的 路 线 。 
图 7-20 展 示 了 一 个 全 速率 的 M-PSK STTC 的 通用 编码 器 结构 。 对 于 一 个 具有 任意 M 元 信号 群 
的 全 速率 STTC， 此 编码 器 结构 一 般 是 有 效 的 。 此 编码 器 由 m(=log; WA0) 个 前 馈 移 位 寄存 器 构成 ， 
此 寄存 器 以 m 个 二 进 制 输入 序列 c ,c?,…c” 为 输入 。 第 心 移 位 害 存 器 的 系数 乘法 集合 表示 为 : 


8" = [Cgo, ,802 ,Bb ),(gn ,B12 ,BIN, ), (gh ,8 2 ,BLN )] (7-59) 








(7-58) 


其 中 

gk=1,2 mj = ,2 .20N 
是 M-PSK (或 者 M 元 ) 群集 合 的 一 个 元 素 ，vi 是 第 k 个 移 位 寄存 器 的 记忆 深度 。 所 有 移 位 寄存 
器 的 乘法 器 输出 还 需要 做 模 M 的 运算 ， 编 码 器 的 输出 是 x = (x',x xz) 。 编 码 器 的 总 共存 储 
深度 "可 以 通过 下 列 式 子 得 到 : 


794 圳 二 部 分 镜 吏 挫 制 笑 码 ( 俱 遂 编码 ) 


“一 > wt (7-60) 


! (gb gb.N,) 





(SET 
(8 SO ) 
图 7-20 STTC 的 编码 器 
的 值 由 下 列 式 子 确定 : 





v+k-1 
TO | (7-61) 
现在 我 们 分 析 STTC 的 性 能 指标 。 我 们 考虑 下 面 两 个 场景 : 缓慢 雷 利 衰退 (slow Rayleigh 
Fading) 和 快速 雷 利 衰退 (fast Rayleigh Fading ) 。 





7.9.1 缓慢 雷 利 衷 退 


对 每 一 个 输入 符号 s,， 空 时 编码 器 生成 N, 个 码 符号 ci,c?,…,c” ， 这 些 码 符号 将 从 N, 个 发 
射 天 线 中 被 同时 发 送 。 我 们 定义 码 向 量 6, =[c!,c?,…,c”] 。 假 设 码 向 量 序列 C={e), e,, …, cj} 
已 经 传送 。 考 虑 ML 解码 器 因 合 法 的 码 向 量 序列 C - {6,5,…,6} 而 错误 决定 的 成 对 错误 概率 
(PEP)。 考 虚 一 个 长 度 为 /的 帧 并 定义 一 个 N, x N. 的 误差 矩阵 4 ; 

A(C,C) = 2 -CE)(c -6) (7-62) 

如 果 接 收 端 具有 理想 的 信道 状态 信息 ， 错 误 检验 的 PEP 可 以 通过 下 列 式 子 得 到 ， 


-Nr 


PC 一 C)< (TI2) (E,/4No)™ (7-63) 
其 中 已 是 符号 能 量 ，No 是 噪音 功率 谱 密度 ，AN, 是 接收 天 线 的 数量 ，r 是 误差 矩阵 4 的 秩 ， 和 2， 


(=1, …, 站 是 4 的 非 零 特征 值 。 因 此 可 以 得 到 rN 的 分 集 增益 和 [TD 的 编码 增益 。 将 PEP 
的 最 大 值 进行 量 小 化 后 ， 我 们 有 下 面 的 设计 准则 ; 
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Rank-determinant 准则 ; 

(1) Rank 准 则 :为 了 得 到 最 大 的 分 集 优 势 ， 抑 阵 A(C,C) 对 所 有 可 能 的 C 和 C 必须 是 满 秩 的 。 

(2) Determinant 准 则 ， 假设 对 所 有 的 C 和 C ， 和 矩阵 4(C,C) 都 是 满 秩 的 。 为 了 达到 最 大 的 
编码 优势 ， 和 矩阵 A(C,C) 对 所 有 可 能 的 C 和 CC 的 最 小 值 必须 进行 最 大 化 操作 。 


7.9.2 快速 雷 利 衰退 


记 p(C,C) 表示 使 得 1c, -6 #0 的 时 间 实 例 1 <1< J 的 集合 ，n 是 这 种 时 间 实 例 的 数目 。 对 

快速 雷 利 衰退 而 言 ， 下 列 式 子 | 
PC-e)< T (le -ite/4N) (7-64) 
IEDICC) 

导致 了 下 面 的 对 快速 衰退 的 设计 准则 。 

Product-distance 准则 : 

(1) Distance 准 则 : 为 了 达到 分 集 m N.， 我 们 要 求 对 任意 两 个 码 字 C 和 EC 的 最 小 符号 依 符 
号 的 汉 明 距离 至 少 是 nn 。 


(2) Product 准 则 ， 为 达到 最 大 编码 优势 ， 把 积 上 ce, -| 对 所 有 的 不 同 的 码 字 C 和 已 所 


取 的 最 小 值 进行 最 大 化 操作 。 

关于 STTC， 我 们 观察 到 以 下 几 点 : 

(1) 一 个 盖 STTC 的 长 度 限 制 至 少 是 一 1。 

(2) 对 N 个 发 射 天 线 和 一 个 分 集 增益 rz， 传输 率 R 的 上 界 为 Rs Ni-r+1。 因 此 ， 对 于 完全 分 
集 增益 (r = N,)， 最 大 的 速率 是 对 应 于 2”" 信 号 群 的 带宽 效率 为 m bit/s/Hz 时 的 全 速率 。 

(3) 如 果 m 是 传输 率 ， 网 格 复杂 度 (状态 数量 ) 至 少 是 2"。 


7.10 评注 


编码 和 调制 第 一 次 由 Massey 于 1974 年 作为 一 个 整体 进行 分 析 。 在 此 之 前 ， 在 所 有 编码 数 
字 通 信 系 统 中 ， 编 码 器 或 译 码 器 和 调制 / 解 调 器 都 分 别 设 计 和 优化 。Messay 将 编码 与 调制 相 结 
合 的 思想 在 1982 年 Ungerboeck 的 精辟 论文 中 加 以 具体 化 。Imai 和 Hirakawa 早 在 1977 年 就 提出 
类 似 的 思想 ， 但 没有 引起 充分 的 关注 。TCM 的 主要 优点 是 在 不 需要 按 惯例 由 编码 过 程 增加 带 
宽 的 条 件 下 可 以 得 到 增强 的 功率 效率 。 在 接 下 来 的 几 年 里 由 不 同 的 研究 人 员 对 TCM 理 论 进化 
形式 化 。Calderbank 和 Mazo 证 明了 非 对 称 一 维 TCM 方 案 比 对 称 的 TCM 方 案 提供 更 多 的 编码 增 
益 。Wei 在 1984 年 提出 了 旋转 不 变量 TCM 方案 ， 它 后 来 由 CCITT 在 新 的 高 速 语 音 带 宽 调制 解 
调 器 中 采用 。STTC 是 传统 的 TCM 方案 用 于 多 天 线 系统 的 扩展 。 这 些 译 码 用 于 提取 多 样 化 获得 
和 译 码 获得 。 


7.11 小 结 


。 网 格 编码 调制 (TCM) 技术 允许 我 们 在 不 扩张 带宽 或 用 额外 功率 的 情况 下 获得 更 好 的 
性 能 。 

* 网 格 中 任意 两 个 路 径 间 的 最 小 欧 几 里 得 距离 称 为 TCM 方案 的 自由 欧 几 里 得 距离 de。 

*。 用 以 得 到 相同 错误 概率 的 编码 方案 的 SNR 值 与 无 编码 方案 的 SNR 值 之 差 称 为 编码 增益 
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8 二 SNR|iwa 一 SNRj#wm。 在 高 SNR 情 况 下 ， 编码 增益 可 以 表示 为 


(di / E, ) 有 ia 
(dj / 瓦 ) 无 编 色 


其 中 g。 表 示 渐 近 编码 增益 ，E, 为 平均 信号 能 量 。 

* 集 合 分 割 映射 的 基础 是 连续 将 一 个 扩展 的 2""! 重 信号 集 分 割 成 最 小 欧 几 里 得 距离 越 来 越 
大 的 子 集 。 每 一 次 我 们 分 割 集合 时 ， 碱 少 了 子 集中 信号 点 的 数量 ， 但 增加 了 子 集中 信号 
点 间 的 最 小 距离 。 

。Ungerboeck 对 AWGN 信 道 的 TCM 设计 准则 (基于 启发 式 ) 为 

(1) 准则 1: 平行 转换 ， 如 果 存 在 ， 必 须 与 集合 分 害 树 最 底层 的 子 集中 的 信和 号 机 联系 ， 这 

些 信号 具有 最 小 欧 几 里 得 距离 A，，， 
(2) 准则 2: 源 于 或 汇合 于 一 个 状态 的 转换 必须 与 集合 分 审 第 一 步 的 信 叶 相 联 系 ， 这 些 信 
号 之 间 的 欧 几 里 得 距离 至 少 为 A 。 

(3) 准则 3: 所 有 有 信和 号 都 以 相同 频率 在 网 格 图 中 使 用 。 | 

* 维特 比 算法 可 对 TCM 方案 中 收 到 的 信号 进行 译 码 。 译 码 算法 中 用 到 的 分 支 尺 度 为 接收 到 
的 信和 号 与 网 格 中 对 应 分 支 的 信号 之 间 的 欧 几 里 得 距离 。 

* 那些 相距 为 自由 距离 的 近邻 的 平均 数 N(d;.,) 给 出 了 网 格 中 与 传送 序列 相距 为 自由 欧 几 里 
得 距离 的 路 径 的 平均 数 。 这 个 数字 连同 .用 于 对 错误 事件 概率 的 评估 。 


oo ! 

“错误 概率 甩 < 了 (D)| ,wm ， 其 中 7(D) = 六 TIG1， 而 矩阵 G= 吕 于 [G(s，) 为 标量 
l=il Eon=1 

转换 函数 。 错 误 事件 概率 的 一 个 更 紧 的 上 界 为 


dh 
1 d he 4N 
P< ~erfcl | 一 一 -| ce 人 07(D) 
” 2 | 4No | 


Be = Benr.. =10 log 


-1 
D=etNd 








-并 人 
“对 衰退 信道 ， 有 Pi (sp 人 < -二 全 和 人 ， 其 中 必 几 )< IIs -  。 这 里 的 项 是 错 
让 4 和) 


误 事件 (si, 8) 的 有 效 长 度 ，K 是 Rician 参 数 。 因 此 错误 事件 概率 主要 取决 于 最 小 有 效 长 
度 , 和 最 小 乘积 距离 d? (1,)。 

。 在 高 SNR 和 小 K 值 的 情况 下 ， 衰 退 信道 的 TCM 的 设计 规则 为 

(1) 使 码 的 有 效 长 度 L 最 大 化 ，。 

(2) 使 最 小 乘积 距离 必 (0) 达到 最 小 。 

“ 由 于 最 小 乘积 距离 的 增加 而 产生 的 编码 增益 的 增长 可 表示 为 

10 iDoan 

—log— 

L dyi(D)o, 

其 中 ai(i=1,2) 为 有 效 长 度 为 L 的 TCM 方 案 的 码 序列 平均 数 i, 

。 空 时 网 格 玛 (STTC) 是 一 个 为 多 天 线 发 射 的 编码 技术 。STTC 是 TCM 方案 ， 其 中 网 格 
的 每 一 个 分 支 均 用 对 应 于 由 N, 发 射 天 线 传输 的 Y 个 信号 进行 标注 。 

。 假定 接收 端 是 理想 的 信道 状态 信息 ， 对 STTC 码 进行 解码 ， 我 们 需要 使 用 向 量 维特 比 算法 。 


A, = SNR, - SNR,|, = 
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* 缓慢 雷 利 衰退 的 设计 准则 可 以 通过 Rank-determinant 准 则 表示 为 ; 

(1) Rank 准 则 ， 为 了 得 到 最 大 的 分 集 优势 ， 矩 隆 4(C,C) 对 所 有 可 能 的 C 和 C 必须 是 满 秩 的 。 

(2) Determinant 准 则 ;假设 对 所 有 的 C 和 C ， 矩 隆 A(C,C) 都 是 满 秩 的 。 为 了 达到 最 大 的 
编码 优势 矩阵 4(C,C) 对 所 有 可 能 的 C 和 《的 最 小 值 必须 进行 最 大 化 操作 。 

"快速 雷 利 衰退 的 设计 准则 可 以 通过 Product-distance 准 则 表示 为 : 

(1) Distance 准 则 ;为 了 达到 分 集 ny N,， 我 们 要 求 对 任意 两 个 码 字 C 和 C ， 这 两 个 码 字 的 
最 小 符号 依 符号 的 汉 明 距离 至 少 是 mn 。 

QQ) Product 准 则 ， 为 达到 最 大 编码 优势 ， 把 积 ,je 5| 对 所 有 的 不 同 的 码 字 C 和 所 
取 的 最 小 值 进行 最 大 化 操作 。 


有 时 候 一 点 点 的 不 精确 可 以 省 下 大 量 解释 。 


一 一 H.H.Munro (Saki) (1870 一 1916 ) 


习题 


7.1 


7.2 


7.3 


考虑 由 下 列 定义 的 码 率 为 203 的 卷 积 码 : 


， 7-65 
D’ 1+D 1+D+D? ( ) 


cp- | D 万 上 + 万 | 
这 个 码 用 到 使 用 格雷 编码 (每 个 符号 被 赋值 3 比特 ， 这 样 一 来 两 个 相连 符号 的 码 只 在 一 个 
比特 位 不 同 ) 的 8PSK 信 号 集 。 该 TCM 方 案 的 吞吐 量 为 2bit/s/Hz。 

(1) 在 该 编码 器 的 网 格 图 中 有 多 少 状态 ? 

(2) 求 自由 欧 几 里 得 距离 。 

(3) 关于 吞吐 量 为 2biWs/Hz 的 无 编码 的 QPSK， 求 渐 近 编码 增益 。 

在 习题 7.1 中 ， 假 设 用 的 是 自然 映射 而 不 是 格雷 编码 ， 即 50 一 000, s 一 001,…, sr 一 111。 

(1) 求 自由 欧 几 里 得 距离 。 

(2) 求 关于 无 编码 QPSK (2bit/s/Hz) 的 渐 近 编码 增益 。 

考虑 如 图 7-21 所 示 的 编码 器 : 






人 2 自然 映射 
(8PSK) 






图 7-21 习题 7.3 中 的 图 


(D 画 出 该 编码 器 的 状态 图 。 

(2) 画 出 该 编码 器 的 网 格 图 。 

(3) 求 自由 欧 几 里 得 距离 4;.。。 在 网 格 图 中 找 出 一 对 能 导致 dr 的 路 径 。N(d$w) 是 什么 ? 
(4) 接 下 来 用 集合 分 割 方 靶 将 8PSK 中 的 符号 赋值 给 网 格 图 的 分 支 。 现 在 dss 是 什么 ? 
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(5) 用 这 个 编码 器 将 下 列 比特 流 进行 编码 ，1 00 1000 1010.…。 对 自然 映射 和 使 用 集 
合 分 割 的 映射 给 出 你 的 答案 。 


(6) 比较 两 种 不 同 的 上 映射 的 浙 近 编码 增益 。 
74 我 们 想 设 计 一 个 TCM 方案 ， 使 它 有 后 跟 一 个 信号 映射 码 率 为 。 人 si 
2/3 的 卷 积 编码 器 。 该 映射 是 根据 图 7-22 所 示 的 非 对 称 星座 图 


的 集合 分 解 而 成 的 。 它 的 网 格 有 四 个 状态 ， 且 是 全 连通 的 。 ss 过 如 
(1) 对 下 面 的 非 对 称 星 座 图 ， 给 出 集合 分 割 。 


(2) 该 非 对 称 TCM 方 案 的 自由 欧 几 里 得 距离 必 .. 是 什么 ? 将 S86 357 

它 同 使 用 标准 8PSK 信 号 星座 时 的 dye。 进行 比较 。 图 7-22 习题 7.4 中 的 图 
(3) 你 将 怎样 选择 6 的 值 来 改善 使 用 图 7-22 所 示 的 非 对 称 信号 
星座 的 TCM 方案 的 性 能 ? 


7.5 考虑 图 7-23 所 示 的 码 率 为 3/4 的 编码 器 。 该 编码 器 的 四 个 输出 比特 被 映射 到 如 下 所 示 的 星 
座 图 中 16 个 可 能 符号 之 一 。 用 Ungerboek 设 计 规 则 为 AWGN 信 道 设计 一 个 TCM 方案 。 对 
于 无 编码 8PSK ， 渐 近 编 码 增益 是 多 少 ? 


a1 ” Ci 
2 -| | 的 


a3 














» C3 


DO 


图 7-23 习题 7.5 中 的 图 
7.6 考虑 Rician 衰 退 信道 的 成 对 事件 错误 概率 表达 式 























1 a2 
K——|s, 一 中 
i i 
~ 1+K 
Bs, $s)< TI] ] 7 exp|- 人 5 (7-66) 
i=1 1 十 下 十 3 一 人 1+ 故 十 一 全 
4No id 4No 本 一 让 


(1) 证 明 当 K 的 值 很 大 时 上 述 不 等 式 可 简化 为 


i 
人 1 2 |2 
Pp < 一 ,一 他 
(3p $1) IIee| 4No |s; $| | 





(7-67) 
(2) 证 明 对 低 SNR 的 情况 ， 原 来 不 等 式 可 以 表示 为 
、 d2 (9 
Ps $1) < exp | (7-68) 


7.7 考虑 一 个 对 Rician 衰 退 信道 设计 的 TCM 方案 ， 它 的 有 效 长 度 为 上 L， 最 小 乘积 距离 为 必 (Z)。 假 
设 我 们 想 重 新 设计 这 个 码 使 对 SNR 的 改善 为 3dB。 
(1) 在 必 ( 刀 保持 不 变 的 情况 下 ， 计 算 所 期 望 的 有 效 长 度 L。 
(2) 在 有 效 长 度 Z 保 持 不 变 的 情况 下 ， 计 算 所 期 望 的 乘积 距离 d?(L)。 
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7.8 假定 你 不 得 不 设计 一 个 AGWN 信 道 (SNR = 7y) 的 TCM 方 案 ， 它 期 望 的 BER 为 P,。 画 出 你 


7.9 


7.10 


7.1 


J 


将 如 何 设 计 这 样 一 个 方案 的 流程 图 。 

(1) 在 你 的 网 格 中 将 有 多 少 个 状态 ? 

(2) 你 将 怎样 设计 卷 积 编码 器 ? 

(3) 在 你 的 设计 中 有 平行 路 径 吗 ? 

(4) 你 将 选取 什么 样 的 调制 方案 ? 为 什么 ? 
(5) 你 将 如 何 用 调制 方案 的 符号 对 分 支 赋值 ? 
对 维特 比 译 码 ， 所 用 的 尺度 形式 如 下 : 


m (ri, 5) = In plrilsi) 
(1) 选择 这 种 尺度 的 道理 是 什么 ? 
(2) 给 出 另 一 个 适用 于 衰退 信道 的 尺度 。 对 你 的 答案 给 出 理由 。 
一 个 为 Rician 误 退 信道 设计 的 TCM 方案 在 高 SNR 环 境 (SNR = 20dB) 中 有 L=5 且 
(1) =2.34E? 。 它 必须 重新 设计 以 得 到 2dB 的 改善 。 
(D 新 码 的 d2( 刀 是 多 少 ? 
(2) 对 新 的 dj 给 出 你 的 评论 。 
考虑 图 7-24 所 示 的 由 一 个 码 率 为 1/2 的 卷 积 编码 器 结合 一 个 映射 的 TCM 方案 。 
(1) 画 出 该 编码 器 的 网 格 图 。 
(2) 确定 标量 转换 函数 T(D)。 
(3) 确定 扩张 的 生成 函数 TCD, 工 ,7 )。 
(4) 该 码 的 最 小 汉 明 距离 ( dy。 ) 是 什么 ? 
(5) 有 多 少 路 径 满足 这 个 df。 ? 


(7-69) 


01 


10 00 


11 
图 7-24 习题 7.11 中 的 图 
考虑 事件 对 错误 概率 己 6, 人 0。 
(1) 对 最 大 似 然 译 码 器 ， 证 明 


Bs, $1) 一 [f(r)pais(rlsi)ar 


(7-70) 
其 中 "是 接收 到 的 向 量 ，Pas(z|s) 为 信道 转移 概率 密度 函数 ， 且 
fn = |。 如 果 和 (7-7D 
(2) 证 明 
prs (?|$,) 
和 扫 一 
pais (rls) 


(7-72) 
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Bls, 细 < [Vpasl 5] )parls (rls1)dr (7-73) 


7.13 考虑 两 个 TCM 机 制 〈 见 图 7-25)。 两 个 机 制 均 使 用 4 状态 完全 连接 的 网 格 以 及 8PSK。 


(1) 这 两 种 机 制 中 的 哪 种 遵守 Ungerboeck 的 TCM 设计 准则 ? 

(2) 找 出 这 两 个 机 制 的 43.。 和 d2(L) 。 

(3) 哪 种 机 制 更 适合 于 纯 AWGN 信 道 ? 哪 种 机 制 更 适合 于 衰退 信道 ? 试 给 出 分 析 。 
注意 ，TCM1 也 称 为 Wilson Leung 码 。 


状态 0: so 5S4 5Sz S56 鲁 … 





状态 1: s ss ss 5 
TCMI 
状态 2: s， ss。 se 52 


Rt 
状态 3: ss 5 S53 ee 9 


状态 0: so ss， so 


TCM2 状态 1; $3 Sr $1 





图 7-25 练习 7.13 的 图 


上 机 习题 


7.14 


7.15 


7.16 


7.17 


7.18 


7.19 


写 一 个 程序 ， 在 给 出 网 格 结构 和 映射 规则 时 它 执行 网 格 编码 调制 。 该 程序 应 该 接受 比特 
流 输入 并 输出 符号 序列 。 该 程序 的 输入 可 能 来 自 两 个 方面 ， 一 个 给 出 网 格 状态 间 的 连接 
性 (实质 上 是 贺 格 的 结构 ) ， 另 一 个 给 出 分 支 标记 。 

写 一 个 程序 ， 当 给 出 网 格 图 及 分 支 标记 时 它 可 计算 TCM 方案 的 平方 自由 欧 几 里 得 距 
离 dj。 、 有 效 长 度 L 和 最 小 乘积 距离 4; (7)。 

写 一 个 程序 对 一 个 输入 符号 流 进行 维特 比 译 码 。 该 程序 利用 给 出 的 网 格 和 网 格 图 中 分 支 
的 标记 信息 。 

检验 本 章 中 给 出 的 AWGN 环 境 下 不 同 TCM 方 案 的 性 能 。 为 了 能 做 到 这 一 点 ， 给 TCM 编 
码 器 一 个 很 长 的 随机 比特 链 作为 输入 。 该 编码 器 将 产生 一 个 符号 序列 〈 模 拟 波形 ) 。 让 
AWGN 使 用 不 同 噪声 功率 对 这 些 符号 进行 破坏 ， 即 对 不 同 的 SNR 进 行 模拟 。 用 维特 比 算 
法 对 接收 到 的 遭 到 破坏 的 符号 (扭曲 了 的 波形 ) 进行 译 码 。 给 出 BER 相 对 SNR 的 平面 图 ， 
将 其 与 理论 上 预计 的 错误 率 进行 比较 。 

写 一 个 程序 来 观测 维特 比 译 码 器 译 码 窗 大 小 的 效果 。 给 出 一 个 错误 率 相对 窗 大 小 的 平面 
图 及 计算 量 相 对 窗 大 小 的 平面 图 。 

写 一 个 程序 ， 使 之 通过 穷 举 搜 索 来 确定 一 个 码 率 为 2/3 的 为 AWGN 设 计 的 TCM 编 码 器 
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(使 d2。 最 大 化 ) 。 假 设 网 格 图 是 全 连通 的 ， 其 中 有 四 个 状态 。 该 网 格 的 分 支 用 一 个 
8PSK 信 和 号 集中 的 符号 标记 。 修 改 程序 使 之 通过 穷 举 搜索 找 出 一 个 好 的 TCM 方案 ， 它 有 
四 个 状态 的 网 格 ， 其 中 可 能 会 有 平行 分 支 。 

7.20 写 一 个 程序 ， 使 之 通过 穷 举 搜索 来 确定 一 个 码 率 为 2/3 的 为 衰退 信道 设计 的 TCM 编码 器 
(使 电 ( 轧 最 大 化 )。 假 设 网 格 图 是 全 连通 的 ， 其 中 有 四 个 状态 。 该 网 格 的 分 支 用 一 个 
8PSK 信 号 集中 的 符号 标记 。 对 在 搜索 过 程 中 发 现 的 较 好 的 码 ， 列 出 d2(L) 和 LL。 

7.21 针对 不 同 的 K 值 (Rician 参 数 )， 画 出 下 列 情况 下 描述 P. 和 Ly 之 间 关 系 的 曲线 族 
(D 高 SNR。 

(2) 低 SNR。 
对 这 些 平面 图 做 出 评述 。 

7.22 编写 一 个 程序 ， 穷 尽 搜索 在 下 面 两 个 信道 上 的 最 优 4 状态 ， 完 全 连接 的 STTC。 

(1) 缓慢 雷 利 衰退 信道 。 
(2) 快速 雷 利 衰退 信道 。 
此 处 的 信号 群 为 MPSK。 
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不 可 能 感觉 不 到 这 些 数学 公式 具有 它 们 自己 独立 的 存在 性 和 智能 ， 它们 比 我 们 更 瑞明 
甚至 比 它们 的 发 现 者 都 更 聪明 。 我 们 从 中 得 到 的 多 于 我 们 原来 给 予 的 。 





Heinrich Hertz 1857 一 1 so) 


a 


8.1 密码 学 简介 


密码 学 是 关于 设计 将 信息 安全 传送 ， 只 有 应 收 信人 才能 恢复 该 信 外 的 方法 的 科学 。 加 窗 
建立 在 一 种 将 信息 弄 乱 成 不 可 读 或 不 可 识别 的 形式 的 算法 上 ， 而 解密 是 将 异 瑟 了 的 信息 重新 
恢复 原状 的 过 程 ( 见 图 8-1)。 

密码 体制 〈cryptosystem) 是 一 些 
算法 和 相关 的 隐藏 信息 和 显露 (不 隐 
藏 ) 信息 的 程序 的 集合 。 密 码 分 析 
(cryptanalysis) 是 分 析 一 个 密码 体制 的 
过 程 (实际 上 是 一 种 艺术 ) ， 或 者 来 检 
验 它 的 完整 性 ， 或 者 为 了 不 可 告 人 的 目 图 8-1 加 窗 和 解密 过 各 
的 而 攻破 它 。 攻 击 者 (attacker) 是 进行 非法 密码 分 析 以 破解 一 个 窗 码 体制 的 个 人 或 系统 。 攻 
击 者 有 时 又 称 为 黑客 、 冯 人 和 人 者 或 偷 听 者 。 攻 击 一 个 密码 体制 的 过 程 通常 称 为 破译 (cracking)。 

密码 分 析 者 (cryptanalyst) 的 工作 是 找到 密码 体制 的 弱点 。 在 许多 情况 下 ， 密 码 体 制 的 
开发 者 宣布 一 种 公开 挑战 : 任何 人 如 果 破 译 该 方案 可 以 得 到 一 大 笔 奖 金 。 一 旦 一 个 密码 体制 
被 攻破 ( 且 密 码 分 析 者 泄露 了 他 的 技术 ) ， 该 方案 的 设计 者 就 会 试图 强化 其 算法 。 然 而 ， 一 个 
密码 体制 被 攻破 并 不 表明 它 无 用 了 。 黑 客 们 可 能 在 最 优 条 件 下 用 常人 没有 的 设备 (快速 计算 
机 、 专 用 微 处 理 器 等 ) 攻破 该 体制 。 一 些 密码 体制 用 攻破 它 的 时 间 和 计算 设备 的 价格 来 划分 
等 级 。 

在 过 去 几 十 年 里 ， 本 质 上 是 数学 的 密码 算法 发 展 得 非常 先进 ， 以 至 于 它们 只 能 用 计算 机 
处 理 。 这 实际 上 意味 着 未 编码 信息 (加 密 前 ) 是 二 元 形式 ， 因 此 可 以 是 任何 东西 ， 一 张 图 片 、 
一 段 声音 、 一 份 如 电子 邮件 的 文件 或 一 段 录 像 。 

密码 学 并 不 像 许多 人 认为 的 那样 仅 用 于 军事 和 外 交通 信 。 在 现实 中 ， 密 码 学 具有 许多 商 
业 用 途 : 保护 公司 机 密 信息 、 保 护 电话 通话 、 允许 人 们 通过 因特网 订货 而 不 用 担心 信用 卡号 
码 被 截获 和 滥用 。 密 码 学 完全 是 用 于 保护 个 人 和 组 织 的 隐私 。 例 如 ; 密码 学 常用 于 防止 伪造 
者 假冒 获奖 彩票 。 每 张 彩 票 上 都 印 了 两 个 号 码 ， 一 个 是 明文 ， 另 一 个 是 相应 的 密码 。 除 非 伪 
造 者 已 经 分 析出 了 彩票 的 密码 体制 ， 否 则 他 们 将 不 能 打印 出 可 以 接受 的 伪造 的 获奖 彩票 

本 章 组 织 如 下 。 首 先 我 们 一 般 性 地 概括 不 同 的 加 密 技术 , 然后 将 举 习 私 铜 密 色 学。 我 们 
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将 详细 讨论 一 些 特别 的 私 钥 密码 技术 ， 尤 其 详细 介绍 数据 加 密 标准 (DES) 和 国际 数据 加 密 
算法 (IDEA)。 然 后 介绍 公 钥 密码 学 。 我 们 将 详细 讨论 两 种 很 流行 的 公 钥 密码 技术 : RSA 算 
法 (由 Rivest、Shamir 和 Adelman 三 人 提出 ) 和 PGP (一 种 混合 密码 算法 ) 。 接 下 来 本 章 将 介绍 
Diffie-Hellman 协 议和 椭圆 曲线 密码 学 。 本 章 还 将 介绍 当今 使 用 的 一 些 其 他 密码 技术 。 密 码 学 
领域 正在 广泛 扩展 ， 本 章 将 介绍 两 种 最 新 进展 一 -量子 密码 学 和 生物 加 密 。 本 章 结论 部 分 将 
讨论 密码 分 析 和 密码 学 中 的 政治 因素 。 


8.2 加密 技术 概述 


密码 体制 的 目标 是 对 网 络 上 交换 的 信息 提供 高 层次 的 保密 性 、 完 整 性 、 无 抵赖 性 和 认证 。 

消息 和 存储 数据 的 保密 性 是 通过 加 密 技术 隐藏 信 息 来 保护 的 。 消 息 的 完整 性 确保 从 它 产 
生 到 被 收 信人 打开 期 间 保 持 不 变 。 无 抵赖 性 可 为 某 销 息 来 自 某 人 提供 一 种 证 明 ， 即 使 他 们 试 
图 否认 。 认 证 提供 两 种 服务 。 首 先 ， 它 排除 对 信息 来 源 的 疑虑 ， 其 次 ， 它 检查 登录 到 系统 的 
用 户 的 身份 ， 而 且 持 续 检 查 他 们 的 身份 以 防 他 人 攻 入 系统 。 


定义 8.1 要 发 送 的 消息 称 为 了 明文 (plaintext) 。 该 消 和 急用 一 个 密码 算法 编码 。 这 个 过 程 称 
为 加 密 (encryption) 。 加 了 密 的 消息 称 为 密 文 (ciphertext) ， 而 它 由 解密 (decryption) 过 程 
变 回 到 明文 。 


必须 假定 任何 窃听 者 能 接收 到 发 送 者 和 接收 者 之 间 的 所 有 通信 。 仅 当即 使 在 这 种 完全 访 
问 条 件 下 窃听 者 都 不 能 从 密 文中 恢复 原来 的 明文 时 ， 加 密 方 法 才 算得 上 是 安全 的 。 

安全 性 和 隐匿 性 有 很 大 的 区 别 。 假 设 在 一 个 机 场 的 锁 柜 里 为 某 人 存放 了 一 个 消息 ， 机 场 
以 及 锁 柜 号 码 的 详情 只 有 收 信和 人 知道 ， 那 么 这 个 消息 不 是 安全 的 ， 而 只 是 隐匿 的 。 但 是 如 果 
所 有 潜在 窃听 者 都 知道 锁 柜 的 位 置 但 他 们 还 是 打 不 开锁 柜 拿 到 消息 ， 那 么 这 个 消息 是 安全 的 。 

定义 8.2 密 钥 是 一 个 数值 ， 它 使 一 个 密码 算法 以 一 种 特殊 方式 运行 来 产生 一 特别 密 文 。 
密 钥 大 小 通常 用 比特 数 来 衡量 。 密 钥 越 大 ， 算 法 越 安全 。 








例 8.1 ”假定 我 们 要 对 下 列 二 元 数据 流 (可 能 来 自 于 声音 、 录 像 、 文 本 或 任何 其 他 来 源 ) 加 

密 后 再 发 送 

0110001010011111… 
我 们 可 以 用 4 比特 长 的 密 钥 x= 1011 来 加 密 这 个 比特 流 。 为 了 实施 加 窗 ， 明 文 (二 元 比特 流 ) 
首先 分 成 4 比特 的 组 : 

0110 0010 1001 1111… 
每 一 个 子 组 与 密 钥 xz= 1011 进 行 异 或 〈 二 元 加 法 ) 运算 。 加 密 后 的 消息 将 变 为 

1101 1001 0010 0100… 
收 信人 必须 也 拥有 密 钥 的 知识 才能 解密 消息 。 在 这 种 情况 下 解密 过 程 非常 简单 。 密 文 (接收 
到 的 二 元 比特 流 ) 首先 分 成 4 比特 的 组 ， 每 一 个 子 组 与 密 钥 x= 1011 进 行 异 或 运算 。 解 密 后 的 
消息 将 是 原来 的 明文 

0110 0010 1001 1111. 
应 该 注意 到 在 加 密 和 解密 中 只 用 到 一 个 密 钥 。 
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例 8.2 让 我 们 来 为 文本 消息 发 明 一 种 算法 ,我 们 将 称 其 为 字符 十 x。 设 x=5。 在 这 种 加 密 
技术 中 ， 我 们 把 每 一 个 字符 用 它 后 面 的 第 5 个 字符 来 取代 ， 即 4 变 成 8B 变 成 G，C 变 成 如 ,等 
等 。 加 密 消息 的 接收 者 只 需要 知道 xz 的 值 便 可 解密 消息 。 密 钥 必 须 与 要 传送 的 加 密 消 息 分 开 。 
因为 只 有 一 个 密 钥 用 于 加 密 和 解密 ， 这 类 技术 称 为 对 称 密 码 学 (symmetric cryptography) 或 单 
密 钥 密码 学 (single key cryptography) ， 也 可 称 为 保密 密 钥 密码 学 (secret key cryptography ) 。 
这 种 技术 的 问题 是 密 钼 需要 保密 。 另 外 ， 密 钥 必 须 不 断 更 换 以 确保 传输 的 保密 性 。 这 表明 保密 
密 钥 〈 或 密 钥 集合 ) 要 传送 给 收 信人 。 这 可 以 通过 非 电 子 方式 解决 。 

为 了 避免 传递 密 钥 的 问题 ，Difie 和 Hellman 提 出 了 公 铀 密码 学 (public key cryptography ) 
的 概念 。 该 技术 又 称 为 非 对 称 加 密 (asymmetric encryption)。 这 个 概念 很 简单 。 有 两 个 密 铀 ， 
一 个 私自 保留 ， 另 一 个 公开 。 一 个 密 钥 可 以 上 锁 ， 另 一 个 密 钥 可 以 解锁 。 


例 8.3 ”假设 我 们 想 用 公 钥 加 密 技术 将 一 个 加 密 消息 送 给 收 信人 A。 要 做 到 这 一 点 ， 我 们 
将 用 到 收 信 人 A 的 公 钥 来 加 密 消 息 。 当 消息 被 收 到 后 ， 收 信人 人 A 用 他 的 私 钥 解密 。 只 有 收 信人 
A 的 私 钥 能 解密 用 他 的 公 钥 加 密 的 消息 。 类 似 地 ， 收 信人 B 也 只 能 解密 那些 用 他 的 公 钥 加 密 的 
消息 。 所 以 ， 不 需要 再 传递 私 钥 ， 从 而 我 们 不 需要 某 个 可 靠 的 通信 信道 来 传递 密 钥 。 





让 我 们 考虑 另 一 种 情况 。 假 设 我 们 要 传送 给 某 人 一 个 消息 ,而 且 提 供 证 据 表 明 消 息 确 实 
是 从 我 们 这 里 传送 的 〈 传 假 消息 或 错 消 息 可 造成 很 大 的 伤害 ! )。 为 了 保持 消息 的 保密 性 并 提 
供认 证 〈 它 确实 是 从 我 们 这 里 传送 的 ) ， 我 们 用 我 们 的 私 钥 对 消息 进行 特殊 的 加 密 ， 然 后 再 用 
收 信人 的 公 钥 加 密 。 收 信人 用 他 的 私 钥 打开 消息 ， 然 后 用 我 们 的 公 钥 验证 真实 性 。 这 种 技术 
称 为 使 用 数字 签名 (digital signature ) 。 

还 有 一 个 重要 的 加 密 技术 称 为 单 向 函数 (one-way function) 。 这 是 一 种 不 可 逆 的 快速 加 密 
方法 。 加 密 过 程 既 容易 又 快 ， 但 解密 并 非 如 此 。 假 设 我 们 发 送 一 个 文件 给 收 信人 A， 而 且 想 在 
以 后 查看 文件 是 否 被 自 改 过。 我 们 可 以 用 一 个 单 向 函数 来 做 到 这 一 点 。 该 单 向 函数 产生 一 个 
固定 长 度 的 值 称 为 散 列 (也 叫做 消息 摘要 ) 。 该 散 列 是 该 消息 的 惟一 标识 ， 可 以 同 消息 一 起 传 
送 。 收 信人 A 可 以 运行 同一 个 单 向 函数 来 检查 文件 是 否 被 自 改 过 。 

在 消息 加 密 和 解密 中 实际 用 到 的 数学 函数 称 为 密码 算法 (cryptographic algorithm) 或 密 
码 (cipher)。 这 只 是 用 来 传送 和 接收 安全 消息 的 系统 的 一 部 分 。 当 我 们 详细 讨论 一 些 具体 的 
系统 时 这 会 变 得 更 清晰 。 

对 于 历史 上 的 多 数 密码 ， 传 送 的 消息 的 安全 性 依赖 于 算法 本 身 也 要 保密 。 这 种 技术 称 为 
受 限 算法 (restricted algorithm)。 它 有 下 面 的 基本 缺点: 

， (1) 很 明显 ， 算 法 只 能 限制 在 那些 你 希望 能 对 你 的 消息 进行 译 码 的 人 之 间 发 布 。 因 此 ， 对 
任何 不 同 组 用 户 都 必须 发 明 一 个 新 算法 。 

(2) 一 个 大 的 或 常 变 动 的 组 不 能 用 这 些 密码 ， 因 为 每 次 有 用 户 离 开 时 所 有 人 都 要 更 换算 法 。 

(3) 一 旦 算法 被 以 任何 方式 窃取 ， 必 须 实现 一 种 新 算法 。 
因为 有 这 些 缺 点 ， 受 限 算法 不 再 流行 ， 取 而 代 之 的 是 仅 依赖 密 钥 的 算法 。 

实际 上 所 有 现代 密码 系统 都 用 到 密 钥 。 用 到 密 铀 的 算法 允许 算法 的 全 部 信息 公开 ， 这 是 
因为 它 的 安全 性 只 依赖 于 密 钥 。 对 于 只 依赖 密 钥 的 算法 ， 明 文 被 算法 使 用 某 个 密 钥 加 密 和 解 
密 ， 而 所 得 密 文 只 依赖 于 密 钥 ， 而 不 是 算法 。 这 说 明 窃 听 者 可 以 有 完整 的 所 使 用 的 算法 ， 但 
因 设 有 加 密 销 息 时 使 用 的 特殊 密 钥 ， 因 此 他 们 也 无 计 可 施 。 

本 章 主 要 讲述 密码 算法 。 算 法 这 个 词语 可 以 追溯 到 公元 9 世纪 波斯 数学 家 的 名 字 ，Abu 
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Abdullah Muhammad ibn Musa Al-Khwarizmi (公元 780 一 850)。 此 人 的 工作 在 于 介绍 了 印度 
的 数码 和 代数 思想 。 引 导 实 用 算法 设计 的 两 个 一 般 思想 是 扩散 和 混淆 。 扩 散 意思 是 使 得 明文 
的 单个 数字 影响 多 个 密 文 的 数字 ， 从 而 隐藏 明文 的 统计 结构 。 这 种 思想 的 一 种 扩展 是 让 密 铀 
的 单个 位 影响 密 文 中 的 很 多 位 。 混 斌 意思 是 通过 一 定 的 变换 ， 使 得 明文 和 密 文 之 间 的 统计 依 
赖 性 变 复杂 。 


8.3 加 密 算 法 所 用 到 的 运算 


尽管 计算 机 出 现 之 后 加 密 / 解 密 方 法 发 生 了 巨大 变化 ， 对 一 个 明文 仍然 只 能 执行 两 种 基本 运 
算 ; 替换 和 转换 。 真 正 的 区 别 在 于 ,. 早期 的 运算 是 对 字符 的 ， 而 今天 的 运算 是 对 二 元 比特 的 。 

(1) 替换 (Substitution) 替换 运算 将 明文 中 的 比特 替换 为 算法 所 确定 的 其 他 比特 以 产生 
密 文 。 这 种 替换 只 需要 逆转 过 来 就 可 以 从 密 文 产生 明文 。 这 样 做 可 能 非常 复杂 。 例 如 一 个 明 
文字 符 可 以 对 应 若干 密 文 字符 (同音 替换 ) ， 或 一 个 明文 字符 用 另 一 段 文字 中 对 应 位 置 上 的 字 
符 替代 【流动 密码 )。 





例 8.4 ”凯撒 是 最 早 在 战争 中 使 用 蔡 换 加 密 来 给 部 队 发 送 情报 的 人 之 一 。 他 发 明 的 替换 方法 
将 字符 向 前 移动 三 个 位 置 。 故 
THIS IS SUBSTITUTION CIPHER (8-1) 
变 成 
WKLV LV VXEVWLWXWLROEQ FLSKHU (8-2) 





(2) 转换 (Transposition) ”转换 (或 置换 ) 并 不 改变 明文 中 任何 比特 ， 但 把 它们 的 位 置 
交换 。 如 果 上 述 密 文 再 经 过 更 多 转换 ， 那 么 最 后 的 结果 将 有 更 高 的 安全 性 。 
(3) 异 或 (XOR) XOR 就 是 异 或 运算 。 它 是 一 个 布尔 算 子 ， 若 两 个 比特 之 一 为 真 ， 则 结 
果 为 真 ， 若 两 个 都 为 真 或 两 个 都 为 假 ， 则 结果 为 假 。 例 如 : 
0 XOR 0=0 
1XOR 0=1 
0 XOR 1=1 (8-3) 
1 XOR 1=0 
数量 惊人 的 商业 软件 用 简单 的 异 或 函数 来 提供 安全 性 ， 包 括 美国 数字 蜂窝 电话 网 和 许多 
办 公 应 用 软件 ， 而 它 很 容易 破译 。 我 们 将 在 本 章 后 面 看 到 ， 当 处 理 长 比特 组 ， 而 这 些 比特 组 
也 经 过 替代 和 /或 转换 时 ， 该 XOR 运 算是 许多 高 级 密码 算法 中 至 关 重 要 的 部 分 。 


8.4 对 称 (保密 密 钥 ) 密码 学 


对 称 算法 (或 单 密 钥 算法 或 保密 密 钥 算法 ) 只 有 一 个 在 加 密 和 解密 中 使 用 的 密 钥 ， 它 因 
此 而 得 名 。 为 了 使 收 信人 能 解密 消息 ， 他 们 需要 有 同样 的 密 钥 。 这 带 来 一 个 主要 的 问题 ， 即 
密 钥 分 发 问题 。 除 非 收 信人 亲自 和 发 信人 见面 并 拿 到 密 钥 ， 否 则 密 钥 必须 传 给 收 信 人 ， 从 而 
易于 被 窃听 者 截获 。 但 是 ， 单 密 钥 算法 速度 快 且 高效， 特别 是 当 有 大 量 数 据 需要 处 理 时 。 

在 对 称 密 码 学 中 ， 交 换 消息 的 双方 用 相同 的 算法 。 只 有 密 钥 需要 时 常 更 换 。 同 样 的 明文 
在 不 同 密 钥 下 变 成 不 同 的 密 文 。 加 密 算法 是 公开 的 ， 因 此 应 该 牢固 且 经 过 很 好 的 测试 。 算 法 
越 强壮 ， 攻 击 者 越 不 可 能 对 密码 解密 。 
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在 产生 强 密 文 时 ， 密 钥 的 大 小 很 关键 。 美 国 国家 安全 局 (NSA) 在 20 世 纪 90 年 代 中 期 声 
明 ， 他 们 可 以 接受 40 比 特长 的 密 钥 ( 即 他 们 可 以 有 效 且 快速 地 破译 ) 。 不 断 增 长 的 处 理 器 速度 ， 
连同 松散 耦合 的 多 处 理 器 配置 ， 已 经 给 了 并 在 黑客 攻破 这 么 短 的 密 钥 的 能 力 。 在 1998 年 ， 人 
们 建议 要 使 密码 有 强度 ， 密 钥 大 小 需要 至 少 56 比 特长 。 旱 在 1996 年 一 个 专家 组 认为 90 比 特 是 
更 合适 的 长 度 。 今 天 最 安全 的 方案 用 128 比 特 或 更 长 的 密 钥 。 

对 称 密 码 学 提供 了 满足 消息 内 容 安 全 性 要 求 的 途径 ， 因 为 没有 密 钥 便 不 能 读 它 的 内 容 。 
但 是 仍然 存在 暴露 秘密 的 风险 ， 因 为 任何 一 方 都 不 能 确定 对 方 是 否 将 密 钥 暴露 给 第 三 方 (不 
管 意外 地 还 是 故意 地 )。 

对 称 密码 学 也 可 以 用 来 提供 消息 完整 性 和 认证 。 送 信人 生成 消息 的 一 个 摘要 ， 或 消息 认 
证 码 (message authentication code，MAC)， 用 保密 密 钥 对 其 加 密 ， 然 后 同 消息 一 起 送出 。 收 
信人 收 到 后 重新 产生 MAC， 解 密 发 送 的 MAC， 并 对 二 者 进行 比较 。 如 果 它 们 相同 ， 则 接收 到 
的 消息 必定 和 发 送 的 消息 相同 。 

如 前 所 述 ， 对 称 方案 的 主要 困难 是 双方 必须 都 拥有 同一 密 钥 。 另 外 ， 如 果 密 钥 泄 露 ， 所 
有 消息 传输 安全 措施 就 都 破坏 了 。 实 现 密 钥 产生 和 传输 安全 机 制 的 步骤 称 为 密 钥 管 理 (key 
management ) 。 

这 种 技术 并 没 充分 强调 无 抵赖 要 求 ， 因 为 通信 双方 有 同样 的 密 铀 。 因 此 任何 一 方 都 面临 
对 方 欺 诈 和 虚假 消息 的 风险 ， 而 且 任何 一 方 都 有 理由 不 承认 发 送 了 那样 的 消息 ， 因 为 对 方 可 
能 把 密 钥 泄露 了 。 

有 两 类 对 称 算 法 一 一 分 组 密码 和 流 密码 。 

定义 8.3 ”分 组 密码 (block cipher) 通常 作用 于 多 个 比特 构成 的 组 上 ， 称 为 组 。 每 一 个 组 
经 过 几 次 处 理 。 在 每 一 轮 密 铀 以 一 种 单一 的 方式 起 作用 。 迁 代 的 次 数 越 多 ， 加 密 过 程 就 越 长 ， 
但 产生 的 审 文 也 越 安全 。 

定义 8.4 ” 流 密 码 (stream cipher) 对 明文 的 作用 是 每 次 一 比特 。 明 文 以 未 加 工 的 比特 流 
形式 送 给 加 密 算 法 。 分 组 密码 使 用 同一 密 钥 从 相同 明文 产生 相同 密 文 ， 而 流 密码 则 不 是 这 样 。 
在 同样 条 件 下 流 密 码 产 生 的 密 文 将 发 生变 化 。 

密 钥 应 该 有 多 长 呢 ? 对 这 个 问题 没有 一 个 答案 。 这 要 看 具体 情况 。 要 确定 我 们 需要 什么 
样 的 安全 性 ， 必 须 回答 下 面 的 问题 ， 

(1) 要 保护 的 数据 价值 有 多 高 ? 

(2) 它 需 要 多 长 时 间 的 安全 性 ? 

(3) 密码 分 析 者 /黑客 所 能 获得 的 资源 是 什么 ? 

一 个 顾客 名 单 可 能 值 1 000 元 ,一 个 广告 数据 可 能 值 50 000 元 ， 而 一 个 数字 货币 系统 的 主 
密 钥 可 能 值 数 百 万 元 。 在 股票 市 场 上 ， 秘 密 信息 需要 保持 几 分 钟 。 在 报 业 ， 今 天 的 秘密 是 明 
天 的 头条 新 闻 。 一 个 国家 的 人 口 普 查 数据 必须 秘密 保存 几 个 月 〈 如 果 不 是 几 年 的 话 ) 。 公 司 交 
易 秘 密 是 对 手 公 司 感 兴趣 的 ， 而 军事 秘密 是 军事 上 的 对 手感 兴趣 的 。 因 此 ， 安 全 性 要 求 可 以 
用 这 些 条 款 来 描述 。 例 如 ， 我 们 可 能 要 求 密 钥 长 度 满足 以 下 条 件 ， 假 定 科 技 进步 的 速度 为 每 
年 25%， 那 么 一 个 黑客 用 一 百 万 元 的 资源 有 0.000 1% 的 可 能 在 一 年 内 攻破 系统 。 不 同 应 用 环 
境 中 对 密 钥 长 度 的 最 低 要 求 在 表 8-1 中 列 出 。 这 个 表 仅 作 指 导 用 。 
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表 8-1 不 同 应 用 对 密 钥 长 度 的 最 低 要 求 


信息 种 类 生命 期 最 小 密 钥 长 度 
军事 战术 信息 几 分 钟 到 几 小 时 56~64 比 特 
产品 公告 几 天 到 几 周 64 比 特 
银行 利率 几 天 到 几 周 64 比 特 
贸易 秘密 几 十 年 112 比 特 
核弹 秘密 > 50 年 128 比 特 
间谍 身份 >50 年 128 比 特 
个 入 事务 >60 年 >128 比 特 
外 交 麻 烦 >70 年 >>128 比 特 





未 来 计算 能 力 是 很 难 预测 的 。 经 验方 法 是 计算 设备 的 效率 除 以 价格 每 18 个 月 翻 一 番 ， 每 
五 年 增长 10 倍 。 因 此 ，50 年 后 ， 最 快 的 计算 机 将 比 今天 的 快 一 千 万 倍 ! 这 些 数字 是 对 通用 计 
算 机 而 言 的 。 我 们 无 法 预测 在 未 来 几 年 内 会 开发 出 什么 样 的 密码 系统 破译 专用 计算 机 。 

本 章 将 介绍 两 种 对 称 算法 ， 都 是 分 组 密码 。 它 们 是 数据 加 密 标 准 (Data Encryption Standard， 
DES) 和 国际 数据 加 密 算法 (International Data Encryption Algorithm, IDEA)。 


.8.5 数据 加 密 标准 (DES) 


DES 为 数据 加 密 标准 的 缩写 ， 是 联邦 信息 处 理 标准 (FIPS) 46-3 号 的 名 字 ， 它 描述 了 数 
据 加 密 算法 (DEA)。DEA 也 是 ANSI 标 准 X9.32 中 定义 的 。 

由 IBM 设 计 的 DES 是 在 美国 国家 标准 局 (NBS) 征集 满足 下 列 要 求 的 标准 密码 算法 时 给 
出 的 : . 

1) 提供 高 度 的 安全 性 。 

2) 安全 性 依赖 于 密 钥 ， 而 不 依赖 于 算法 的 秘密 。 

3) 安全 性 是 可 以 评估 的 。 

4) 算法 有 完整 说 明 且 容易 理解 。 

5) 使 用 效率 高 且 可 适应 不 同 用 途 。 

6) 必须 对 所 有 用 户 均 可 用 。 

7) 必须 可 以 出 口 。 

DEA 实 质 上 是 从 IBM 在 20 世 纪 70 年 代 早 期 设计 的 “算法 Lucifer” 改 进而 来 的 。 美 国 国家 
标准 局 在 1975 年 公布 了 数据 加 密 标 准 。 尽 管 算法 基本 由 IBM 设 计 ，NSA 和 NBS ( 现 为 NIST) 
在 开发 的 最 后 阶段 也 起 了 实 实在 在 的 作用 。DES 自 从 公布 以 来 得 到 了 广泛 的 研究 ， 它 是 世界 
上 最 著名 和 用 得 最 广泛 的 对 称 算 法 。 

在 运行 中 ，DEA 的 分 组 长 度 为 64 比 特 ， 密 钥 长 度 为 56 比 特 (8 个 奇偶 校 验 比 特 从 64 比 特 完 
整 密 钥 中 剔除 ) 。DEA 是 对 称 密码 体制 ， 一 种 16 轮 的 Feistel 密 码 ， 最 初 是 为 硬件 实现 设计 的 。 
当 在 通信 中 应 用 时 ， 发 送 者 和 接收 者 都 必须 知道 相同 的 密 钥 ， 它 可 以 被 用 于 加 密 和 解密 消息 ， 
或 产生 和 检验 消息 验证 码 (MAC)。PDEA 也 可 以 用 于 单 用 户 加 密 ， 比 如 在 硬盘 上 储存 加 密 后 
的 文件 。 在 多 有 几 户 环境 中 ， 安 全 的 密 钥 分 发 可 能 很 困难 ， 公 铀 密码 学 为 这 个 问题 提供 了 理想 
的 解决 办 法 。 

NIST 每 5 年 重新 批准 DES (FIPS46-1、FIPS46-2、FIPS46-3)。FIPS46-3 在 1999 年 10 月 份 
对 DES 进 行 了 重新 确认 ， 但 单一 DES 只 允许 在 遗留 体系 中 使 用 。FIPS46-3 包 括 三 重 DES (对 应 
X9.52 中 的 TDEA) 的 定义 。 在 几 年 内 ，DES 和 三 重 DES 将 被 高 级 加 密 标 准 取代 。 
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DES 现 在 已 在 世界 范围 内 使 用 20 年 了 ， 因 为 它 是 一 个 标准 ， 这 表明 任何 实现 了 DES 的 系 
统 可 以 与 任何 其 他 使 用 它 的 系统 通信 。 全 世界 的 银行 和 商业 部 门 都 使 用 DES， 在 网 络 中 (如 
Kerberos) 也 用 它 ， 还 用 它 来 保护 UNIX 操 作 系 统 中 的 口令 文件 (如 CRYPT)。 

(1) DES 加 密 。DES 是 一 个 对 称 的 分 组 密码 算法 ， 它 的 密 钥 长 度 为 64 比 特 ， 分 组 长 认为 64 
比特 〈 即 该 算法 连续 对 64 比 特 的 明文 组 进行 操作 )。 由 于 是 对 称 的 ， 同 样 的 密 钥 用 于 加 密 也 用 
于 解密 ， 而且 DES 的 加 密 和 解密 都 用 同一 个 算法 。 

首先 根据 一 个 表 (初始 置换 ) 执行 转换 运算 ， 然 后 将 64 比 特 明 文 组 分 为 两 个 32 比 特 组 ， 
对 每 一 半 要 进行 16 次 相同 的 运算 ， 称 为 16 轮 。 这 两 半 最 后 又 合 在 一 起 进行 初始 置换 的 逆 运 算 。 
第 一 个 转换 的 目的 不 明确 ， 因 为 它 并 不 影响 算法 的 安全 性 ， 但 可 能 是 为 了 人 允许 明文 和 密 文 以 
字 节 大 小 载 人 8 比特 芯片 。 

在 任意 一 轮 ， 只 有 原来 64 比 特 中 的 一 半 参 与 运算 。 在 不 同 轮 中 轮流 处 理 这 两 半 。 在 DES 
的 一 个 轮 中 包含 下 列 功能 ， 

(2) 密 钥 变换 。64 比 特 密 钥 通过 移 去 每 8 比特 中 的 第 8 个 比特 (这 些 比 特有 时 用 于 错误 检测 ) 
缩减 为 536 比特， 然后 产生 16 个 不 同 的 48 比 特 子 密 钥 一 一 每 一 个 子 密 钥 用 于 一 轮 加 密 。 这 一 过 
程 是 先 把 56 比 特 密 钥 分 成 两 半 ， 然 后 根据 轮 数 的 不 同 把 它们 左 循环 移 位 一 次 或 两 次 。 在 此 之 
后 再 选 出 48 比 特 。 因 为 发 生 移 位 ， 每 一 个 子 密 钥 用 到 密 钥 中 不 同 的 比特 组 。 这 一 过 程 称 为 压 
缩 置换 ， 因 为 有 位 的 转换 和 整体 大 小 的 缩减 。 

(3) 扩张 置换 。 密 钥 变 换 后 ， 不 管 一 组 中 的 哪 一 半 参 与 运算 ， 都 要 经 过 一 个 扩张 置换 。 在 
这 种 运算 中 ， 通 过 让 第 1 和 第 4 个 比特 在 输出 中 出 现 两 次 ， 即 第 4 比特 变 成 第 5 和 第 7 个 比特 ( 见 
图 8-2) ， 我 们 可 以 同时 得 到 扩张 和 转换 变换 。 








图 8-2 扩展 置换 


扩张 置换 得 到 三 个 结果 : 首先 ， 它 增加 了 那 半 个 组 的 大 小 ， 从 32 比 特 增 加 到 48 比 特 ， 同 
压缩 后 的 密 钥 子 集 的 比特 数 相同 ， 这 是 很 重要 的 ， 因 为 接 下 来 的 运算 是 把 它们 异 或 (XOR) 
在 一 起 。 甚 次 ， 它 为 替换 运算 产生 了 一 个 更 长 的 数据 串 ， 然 后 又 将 其 压缩 。 最 后 ， 也 是 最 重 
要 的 一 点 ， 因 为 在 接 下 来 的 替换 中 第 1 和 第 4 比特 都 在 两 个 S 盒 中 〈 马 上 给 出 描述 ) ， 它 们 影响 
到 两 个 替换 。 这 样 做 的 效果 是 输出 比特 对 输入 比特 的 依赖 性 大 大 提高 ， 因 此 算法 的 安全 性 也 
大 大 提高 。 

(4) XOR。 上 述 得 到 的 48 比 特 组 再 与 那 一 轮 中 的 合适 子 密 钥 进 行 XOR 运 算 。 

(3) 蔡 换 。 接 下 来 的 运算 是 对 扩张 后 的 组 进行 替换 。 有 8 个 替换 盒 ， 称 为 S 盒 。 第 1 个 S 盒 对 48 
比特 扩张 组 中 的 前 6 比特 进行 运算 ， 第 2 个 S 盒 对 接 下 来 的 6 比特 进行 运算 ， 依 此 类 推 。 每 一 个 S 盒 
都 有 一 个 4 行 16 列 的 表 ， 表 中 每 一 个 元 素 是 一 个 4 比特 数 。S 盒 的 6 比特 输入 以 下 列 方式 用 于 查找 
表 中 适当 的 元 素 ; 第 1 和 第 6 比特 构成 的 2 比特 数 对 应 行 数 ， 第 2 到 第 5 比特 结合 在 一 起 形成 的 4 比 
特 数 对 应 一 个 特定 的 列 。 替 换 阶 段 的 纯 结 果 是 8 个 4 比特 组 ， he np 

S 盒 的 非 线性 关系 提供 了 DES 的 安全 性 ，DES 算 法 内 所 有 其 他 过 程 都 是 线性 的 ， 这 样 会 
容易 分 析 。 
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48-bit 输入 
CID COI CTTIII3 DODDDDI 





臣下 下 EE EEEL LEEE] EFEL] EELELY CEE ELETEI 


32-bit 输出 
图 8-3 S 念 替换 


(6) 是 换 。 替 换 阶 段 得 到 的 32 比 特 输出 再 用 一 个 表 直 接 转换 ， 这 个 表 有 时 称 为 P 念 。 

当 所 有 轮 都 完成 之 后 ， 那 两 个 32 比 特 “ 半 组 ”再 结合 成 64 比 特 输出 ， 再 经 过 最 后 置换 ， 
而 此 时 得 到 的 64 比 特 组 就 是 DES 对 输入 明文 组 加 密 后 的 密 文 。 

(7) DES 解 密 。 解 密 DES 很 容易 (对 有 正确 密 钥 的 人 来 说 ! ) 。 感 谢 它 的 设计 ， 解 密 算法 
和 加 窗 算法 一 样 一 惟一 的 更 改 是 要 解密 DES 密 文 ， 在 每 一 轮 中 用 到 的 那些 子 密 钥 要 以 相反 的 
次 序 使 用 ， 即 首先 用 的 是 第 16 个 子 密 钥 。 

(8) DES 的 安全 性 。 令 人 造 憾 的 是 ， 随 着 密码 分 析 领 域 的 进步 和 计算 功能 的 提高 ， DES 不 
再 被 认为 很 安全 了 。 有 些 算法 可 以 用 于 减少 需要 检查 的 密 钥 个 数 ， 但 即使 用 直接 的 强力 攻击 
以 及 检查 每 一 个 可 能 的 密 钥 ， 有 的 计算 机 仍然 可 以 用 数 分 钟 就 可 破译 DES。 据 说 美国 图 家 安 
全 局 (NSA) 可 以 在 3~15 分 钟 内 破译 DES 加 窗 的 消息 。 

如 果 规 定 2 小 时 内 破译 DES 加 窗 的 文件 ， 则 我 们 需要 在 两 小 时 内 检查 所 有 可 能 的 密 钢 (25 
个 ) ， 这 大 约 是 每 秒 5 万 亿 个 密 钥 。 尽 管 这 看 上 去 是 个 很 大 的 数 ， 但 10 美 元 专用 集成 电路 
(ASIC) 芯片 可 以 每 秒 测试 2 亿 个 密 钥 ， 而 且 很 多 芯片 可 以 并 行 处 理 。 可 以 推算 花 一 千 万 美元 
投资 在 ASIC 上 就 可 以 造 一 个 能 在 6 分 钟 内 破译 DES 加 密 的 消息 的 计算 机 。 

DES 不 能 再 当做 充分 安全 的 算法 了 。 如 果 一 个 DES 加 密 的 消息 今天 用 超大 计算 机 在 几 分 
钟 内 可 以 破译 ， 那 么 计算 机 功能 的 飞速 提高 表明 在 将 来 破译 DES 加 密 将 轻而易举 (今天 加 密 
的 消息 可 能 那 时 还 需要 保密 )。DES 有 一 种 扩展 ， 称 为 DESX， 被 认为 对 穷 举 搜索 密 铀 有 本 质 
的 免疫 力 。 


8.6 国际 数据 加 密 算法 〈IDEA) 


IDEA 最 早 的 形式 是 由 Xuejia Lai 和 james Massey 在 1990 年 提出 的 ， 当 时 则 做 提议 加 密 标 准 
(PES)。1991 年 ，Xuejia Lai 和 Massey 针 对 差分 密码 分 析 加 强 了 算法 ， 称 为 改进 的 PES (IPES)。 
IPES 的 名 字 在 1992 年 改 为 国际 数据 加 密 算法 (IDEA)。IDEA 以 其 在 PGP (Pretty Good Privacy ) 
中 的 使 用 而 著称 。 

(1) IDEA 算 法 。IDEA 是 个 对 称 分 组 密码 算法 ， 它 的 密 钠 长 度 为 128 比 特 ， 分 组 长 度 为 64 
比特 ， 而 且 也 像 DES 一 样 ， 同 样 的 算法 提供 加 密 和 解密 。 

IDEA 有 8 轮 加 密 ， 用 到 52 个 子 密 钥 。 每 一 轮 用 6 个 子 密 钥 ， 归 后 科 下 的 4 个 用 于 本 出 吏 搞 。 
子 密 铀 的 产生 方式 如 下 ， 

首先 将 128 比 特 密 钥 分 成 8 个 16 比 特 密 钢 ， 这 是 最 初 的 8 个 子 密 钥 。 然后 将 原来 密 钥 的 比特 
向 左 移 位 25 比 特 ， 然 后 再 分 成 8 个 子 密 钥 。 这 种 先 移 位 然后 分 开 的 过 程 重复 下 去 ， 直 到 所 有 52 
个 子 窗 角 (SK1 ~ SK52) 都 产生 出 来 。 

64 比 特 明文 组 首先 分 成 四 个 组 (B1~B4)。 一 轮 加 密 由 下 列 步 又 组 成 (OB 表示 输出 组 ): 
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OB1=B1*SK1 〈 第 1! 子 组 乘 第 1 子 密 钥 ) 
OB2=B2+SK2 (第 2 子 组 加 第 2 子 密 钥 ) 
OB3=B3+SK3 (第 3 子 组 加 第 3 子 密 钥 ) 
OB4=B4*SK4 (第 4 子 组 乘 第 4 子 密 钥 ) 

OB5=OB1 XOR OB3 (第 1 步 和 第 3 步 的 结果 进行 异 或 ) 
OB6 = OB2 XOR OB4 

OB7=OB5*SK5 (第 5 步 结 果 乘 第 5 个 子 密 钼 ) 
OB8=OB6+OB7 (第 6 步 和 第 7 步 的 结果 相 加 ) 

OB9 =OB8*SK6 (第 8 步 结果 乘 第 6 个 子 密 钥 ) 
OB10=OB7+OB9 

OB11=OBI1 XOR OB9 (第 1 步 和 第 9 步 的 结果 进行 异 或 ) 
OB12= OB3 XOR OB9 

OB13=OB2 XOR OB10 

OB14=OB4 XOR OB10 


进入 下 一 轮 的 输入 为 4 个 子 组 依次 为 OB11、OB13、 OB12、OB14。 
在 8 轮 加 密 之 后 ， 最 后 4 个 输出 组 (F1~EF4) 要 经 过 最 后 变换 来 产生 4 个 密 文 的 4 个 子 组 
(C1 一 C4)， 它 们 重新 连接 在 一 起 构成 最 后 的 64 比 特 窗 文 。 
Cl=Fl*SK49 
C2=F2+SK50 
C3=F3++SK51 
C4=F4*SK5S2 
密 文 = Cl&C2&C3&C4 


(2) IDEA 的 安全 性 。IDEA 不 仅 速度 约 为 DES 的 两 倍 ， 它 也 安全 得 多 。 用 强力 攻击 方法 ， 
有 2 个 可 能 的 密 钥 。 如 果 用 10 亿 个 每 秒 钟 可 以 检测 10 亿 个 密 钥 的 芯片 来 试图 攻破 IDEA 加 密 
过 的 消息 ， 需 要 用 10' 年 ， 这 上 比 整 个 字 宙 的 年 龄 都 长 得 多 ! 作为 一 种 较 新 的 算法 ， 人 们 有 可 能 
会 发 现 比 强力 攻击 更 好 的 攻击 方法 ， 再 结合 将 来 功能 更 强大 的 机 器 ， 有 可 能 会 破译 加 密 的 消 
息 。 但 是 ， 在 将 来 的 漫长 岁月 中 ，IDEA 看 来 是 个 非常 安全 的 密码 。 


8.7 RC 密码 


RC 密码 是 Ron Rivest 为 RSA 的 数据 安全 设计 的 。RC 表 示 Ron 码 或 Rivest 密 码 。RC2 是 为 快 
速 取 代 DES 而 设计 的 ， 它 更 安全 。 这 是 一 种 分 组 密码 ， 密 钥 大 小 可 变 ， 拥 有 一 个 适当 的 算法 。 
RC2 是 一 种 可 变 密 钥 长 度 密码 。 但 是 ， 当 用 微软 密码 产品 时 ， 密 钥 长 度 硬性 限定 为 40 比 特 。 
当 用 微软 增强 型 密码 产品 时 ， 密 钥 长 度 默认 值 为 128 比 特 ， 也 可 以 在 40 比 特 ~ 128 比 特 间 以 8 比 
特 的 增幅 变化 。 

RC4 是 Ron Rivest 在 1987 年 设计 的 ， 它 是 一 种 变 长 密 钥 的 流 密码 。 该 算法 的 细节 没有 正式 
公布 。 该 算法 特别 容易 描述 和 编程 。 同 RC2 一 样 ， 微 软 产品 支持 40 比 特 的 RC4， 而 增强 型 产品 
允许 密 钥 在 40 比 特 一 128 比 特 以 8 比特 的 增幅 变化 。 

RC5 是 为 提高 速度 而 设计 的 一 种 分 组 密码 。 分 组 大 小 ， 密 钥 大 小 以 及 揭 代 次 数 都 是 可 变 
的 。 特 别 是 ， 密 钥 大 小 可 以 到 达 2048 比 特 。 

到 目前 为 止 ， 我们 讨论 的 所 有 加 密 技 术 都 属于 对 称 密码 学 (DES、IDEA 和 RC 密码 )。 我 
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们 现在 看 一 下 非 对 称 密码 技术 。 


8.8 非 对 称 ( 公 和 钥 ) 算法 


公 钥 算法 是 非 对 称 的 ， 也 就 是 说 加 密 所 用 的 密 钥 与 解密 所 用 的 密 钥 不 同 。 加 密 密 钥 也 称 
为 公 钥 ， 是 用 来 加 密 消息 的 ， 但 只 有 拥有 解密 密 钥 ， 也 称 为 私 钥 的 人 才能 对 该 消息 解码 。 

这 类 算法 比 起 传统 对 称 密 码 来 有 许多 优点 。 这 表明 收 信人 可 以 把 他 们 的 公 钥 让 公众 知 
道 一 一 任何 人 想 发 送 给 他 们 消息 时 用 该 算法 和 收 信 人 的 公 钥 即 可 做 到 。 窃 听 者 可 能 有 该 算法 
和 公 钥 ， 但 不 能 解密 消息 。 只 有 收 信 人 ， 用 他 们 的 私 钥 可 以 解密 消息 。 

公 钥 算法 的 一 个 缺点 是 它们 比 对 称 算法 在 计算 上 更 复杂 ， 因 此 加 密 和 解密 需要 更 长 的 时 
闻 。 这 对 一 个 短 消息 可 能 不 明显 ， 但 对 长 消息 (如 音频 和 视频 文件 ) 肯定 很 明显 。 

公 钥 密码 标准 (Public-Key Cryptography Standards, PKCS) 是 RSA 实 验 室 和 世界 范围 内 
的 安全 系统 开发 者 联合 为 加 速 公 钥 密码 开发 而 给 出 的 详细 说 明 。 自 从 PKCS 公 文 首次 于 1991 年 
在 一 小 组 早期 公 钼 密码 技术 采用 者 的 会 议 后 发 表 以 来 ， 它 被 广泛 引用 和 执行 。 来 自 PKCS 的 贡 
献 已 成 为 许多 正式 和 非 正式 标准 的 一 部 分 ， 包 括 ANSI X9 公 文 、PKIX、SET、S/MIME 和 
SSL 。 

下 面 的 两 节 描 述 两 个 流行 的 公 和 钥 密 码 算 法 一 一 RSA 算 法 和 PGP 混 合算 法 。 


8.9 RSA 算 法 


用 三 位 发 明 人 Rivest、Shamir 和 Adleman 的 名 字 命名 的 RSA 是 第 一 个 被 实施 的 公 钥 密码 算 
法 ,而且 多 年 来 在 全 世界 密码 学 分 析 者 的 仔细 研究 下 仍 立 于 不 败 之 地 。 它 不 像 对 称 密 钥 算法 ， 
只 要 我 们 假定 算法 没 缺 陷 ， 其 安全 性 就 依赖 于 必须 试验 所 有 可 能 的 窗 钥 ， 公 钥 密 码 算 法 依赖 
于 从 公 钥 恢复 私 钥 在 计算 上 是 不 可 行 的 。 

RSA 依 赖 于 这 样 一 个 事实 ; 很 容易 将 两 个 大 素数 相 乘 ， 但 从 结果 中 将 它们 分 解 却 极其 困 
难 〈 即 耗 时 ) 。 分 解 一 个 数 是 指 找 出 它 的 素 因 子 ， 也 就 是 那些 需要 乘 在 一 起 以 产生 要 分 解 的 数 
的 那些 素数 。 例 如 ， 

10=2x5 
60=2x2x3x5 
213—1=3391 x23279 x 65993 x 1868569 x 1066818132868207 


(1) RSA 算 法 。 将 两 个 随机 选取 的 通常 有 相同 长 度 的 大 素数 相 乘 在 一 起 ; 


N=AxB (8-4) 
T=(4—1)x(B-1) (8-5) 
然后 选取 第 三 个 随机 数 〈(E) 作为 公 和 钥 ， 它 必须 与 7 没有 公共 因子 ( 即 互 素 )。 则 私 钥 (D) 为 
D=E-'modT | (8-6) 
把 一 个 明文 组 (M) 加 密 为 密 文 组 (C): 
C=M: modN (8-7) 
解密 为 : 


hM=C2 mod N (8-8) 
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例 8.5 考虑 下 面 RSA 算 法 的 实现 ， 
第 一 个 素数 (4) =37 
第 二 个 素数 (8) =23 

则 


N=37x23=851 
T=(37~—1)x(23—1)=36x22=792 

E 与 792 必 须 除 1 之 外 没有 其 他 公共 因子 。 

E ( 公 和 钥 ) 可 以 为 5。 

D ( 私 钥 ) =57!mod 792=317 

要 加 密 字 符 “G” 的 消息 (M): 

若 G 用 7 表示 〈 字 母 表 中 的 第 7 个 字母 )， 则 M=7。 

C ( 密 文 ) =75 mod 851= 638 

解密 : M=63827 mod 851 一 7。 





(2) 素数 。RSA 算 法 使 用 大 素数 。 我 们 是 否 可 以 找到 任意 大 的 素数 ? 在 回答 这 个 问题 之 前 ， 
我 们 先 定义 素数 计数 函数 (Prime Counting function ) 。 


定义 8.5 素数 计数 汉 数 T(n) 计 算 小 于 等 于 n 的 素数 个 数 。 





例 8.6 表 8-2 给 出 了 一 些 素数 计数 函数 
表 8-2 素数 计数 函数 


zn) 1 2 2 3 3 4 4 4 4 5 5 6 6 


从 上 表 中 可 以 看 出 ， 只 有 当 遇 到 下 一 个 素数 时 ，x(n) 才 会 增加 。 函 数 x(n) 是 单调 递增 函数 。 

例 8.7 是 否 有 无 穷 多 个 素数 ? 我 们 首先 假设 只 有 有 限 个 素数 。 这 些 素数 表示 为 Pu pi,… ,Pp,。 
考虑 数 m=Pi p，，…, pnt1。 很 显然 ，m 比 上 面 所 有 的 素数 都 大 ， 根 据 假设 ， 其 必然 为 合 数 。 因 此 
它 可 以 被 上 面 素数 中 的 某 些 整除 。 但 是 m 不 能 被 p, 整 除 ， 因 为 除 后 的 余数 是 1。 同 理 ，m 也 不 能 被 
pfi =2,3,…, 及 整除 。 从 而 ， 了 矛盾 产生 了 。 所 以 假设 不 成 立 。 因 此 ， 素 数 的 个 数 是 无 穷 的 。 


定理 8.1 素数 密度 定理 (Prime Density Theorem) 有 下 面 的 式 子 成 立 : 
jim x(n) n(n) _] 
Nr n 


(8-9) 
一 般 地 9 
AX(n) 
是 一 个 好 的 估计 。 这 也 说 明 素 数 有 很 多 。 
有 两 种 方法 来 生成 大 素数 。 


(1) 构造 可 被 证 明 素数 ， 
(2) 随机 选择 一 个 大 奇数 ， 然 后 使 用 素数 检验 。 


~ 
jn(z) 


214 条 三 部 分 颁 会 通信 编码 


定义 8.6 素数 判断 问题 (Primality Decision Problem): 给 定 一 个 正 整数 m， 判 断 m 是 否 是 素数 。 

为 了 说 明 素 数 检验 的 计算 复杂 性 ， 我 们 首先 需要 知道 下 面 的 定义 。 

定义 8.7 图 灵机 是 一 个 产生 原始 但 具有 普 舌 意义 计算 模型 的 想象 中 的 计算 设备 。 它 一 般 
用 有 限 状 态 机 来 表示 。 

定义 8.8 ”一 个 算法 被 称 为 是 多 项 式 时 间 ， 如 果 它 在 最 坏 情况 下 运行 时 间 可 以 表示 为 输入 
规模 的 多 项 式 。 任 何 运行 时 间 不 能 用 多 项 式 来 表示 的 算法 称 为 超 多 项 式 时 间 算 法 。 

定义 8.9 复杂 类 P 是 一 个 可 以 用 判定 图 灵机 在 多 项 式 时 间 内 究 成 的 判定 问题 DC{0,1} 的 类 。 

定义 8.10 ”复杂 类 NP 是 这 样 一 个 判定 问题 DC{0,]} 的 类 ， 此 类 判定 问题 根据 输入 的 证 据 
(certificate 或 者 witness) 信息 ， 可 以 在 多 项 式 时 间 内 判定 “yes” 的 回答 。 复 杂 类 co-NP 是 这 
样 一 个 判定 问题 DC 如, 的 类 ， 此 类 判定 问题 根据 输入 的 证 据 信 息 ， 可 以 在 多 项 式 时 间 内 鞠 
定 “no” 的 回答 。 

素数 检验 算法 既 可 以 是 确定 算法 也 可 以 是 随机 蔗 法 。 只 有 少数 高 效 的 确定 素数 检验 函数 ， 
也 就 是 说 ， 在 多 项 式 时 间 内 可 以 进行 判定 的 函数 。 随 机 的 素数 检验 算法 ， 相 较 而 言 ， 更 为 高 
获 。 已 知 的 高 效 素数 检验 算法 总 味 着 素数 判定 问题 是 在 复杂 类 居中。 

一 个 在 复杂 性 理论 中 很 重要 的 开放 问题 是 NP 和 PP 是 否 相 等 。 一 般 认 为 ， 这 两 个 复杂 类 是 
不 相 和 车 的 。 这 似乎 也 可 以 通过 直观 观察 得 到 : 解决 一 个 问题 比 验 证 一 个 答案 要 更 复杂 。 

注意 ， 如 果 这 两 个 复杂 类 同等 ， 那 么 从 数学 角度 看 ， 就 不 再 存在 计算 安全 的 密码 系统 。 

(3) RSA 的 安全 性 。RSA 的 安全 性 取决 于 黑客 分 解 整数 的 能 力 。 现 在 人 们 不 断 发 现 更 快 、 
更 好 的 整数 分 解 算 法 。 目 前 最 好 的 大 数 分 解 方 法 为 数 域 第 选 法 。 十 年 前 人 们 感到 长 度 不 可 思 
议 的 素数 今天 可 以 很 容易 分 解 。 很 明显 一 个 数 越 长 ， 它 越 难 分 解 ， 因 此 用 它 的 RSA 就 更 安全 。 
随 着 理论 和 计算 机 的 进步 ， 我 们 不 得 不 使 用 越 来 越 大 的 密 钥 。 使 用 极其 长 的 密 钥 的 缺点 是 在 
加 密 和 解密 时 的 运算 量 。 这 只 有 在 出 现 一 种 新 的 整数 分 解 技术 使 得 对 密 钥 长 度 增 长 的 要 求 大 
大 快 于 使 用 RSA 算 法 的 计算 机 平均 增长 速度 时 才 成 问题 。 

在 1997 年 ， 对 512 比 特 RSA 密 钥 的 评估 显示 这 样 的 数 可 能 用 不 到 一 百 万 美元 的 费用 和 8 个 
月 的 工作 量 就 可 分 解 。 因 此 ， 人 们 认为 512 比 特 密 钥 只 能 提供 短期 需要 的 不 充分 安全 性 。RSA 
实验 室 最 近 建 议 个 人 使 用 768 比 特大 小 的 密 钥 ， 公 司 使 用 1024 比 特长 的 ， 极 其 重要 的 密 钥 和 权 
威 证 明 机 构 所 用 的 根 密 钥 对 使 用 2048 比 特长 的 。 通 过 定期 更 换 用 户 密 钥 可 以 提高 安全 性 ， 典 
型 情况 是 用 户 密 钥 两 年 后 就 过 期 (在 更 换 密 钥 时 也 允许 选取 更 长 的 密 钥 )。 

即使 不 使 用 巨大 的 密 钥 ，RSA 的 加 密 和 解密 也 比 DES 慢 1000 倍 。 这 导致 它 不 便 作为 单独 
的 密码 体制 而 广泛 使 用 。 但 是 ， 它 在 很 多 混合 密码 体制 中 用 到 ， 如 PGP。 混 合体 制 的 基本 原 
理 是 用 对 称 算法 (通常 为 DES 或 IDEA) 加 密 明 文 ， 然 后 将 对 称 算法 的 密 钥 本 身 用 公 钥 算法 
(如 RSA) 加 密 。 然 后 将 RSA 加 密 后 的 密 钥 和 对 称 算法 加 密 的 消息 送 给 收 信人 ， 收 信人 可 以 用 
他 的 RSA 私 钥 解 密 对 称 算法 的 密 钥 ， 再 用 该 密 钥 解密 消息 。 这 比 全 部 用 RSA 要 快 得 多 ， 而且 
允许 每 次 使 用 不 同 的 对 称 密 钥 ， 也 加 强 了 对 称 算法 的 安全 性 。 

RSA 未 来 的 安全 性 只 依赖 于 整数 分 解 技术 的 进步 。 除 非 整 数 分 解 技 术 的 效率 或 计算 能 力 
以 天 文 数字 速度 增长 ，2048 比 特 密 钥 在 能 预见 的 将 来 可 以 确保 提供 很 安全 的 保护 。 例 如 一 个 
可 实现 50 000mips (每 秒 百 万 次 运算 ) 的 Intel Paragon 用 现代 技术 需要 一 百 万 年 才能 分 解 一 个 
2048 比 特 窗 钥 。 
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8.10 全 球 电 子 邮件 加 密 标准 


全 球 电 子 邮件 加 密 标 准 (PGP) 是 由 Phil Zimmerman 创 建 的 混合 密码 体制 ， 在 1991 年 作 
为 一 个 免费 软件 公布 在 因特网 上 。PGP 本 身 不 是 一 个 新 算法 ， 而 是 一 个 由 一 系列 其 他 算法 和 
精心 设计 的 协议 组 成 的 整体 。PGP 本 意 是 用 于 电子 邮件 安全 的 ， 但 没有 理由 说 它 不 能 用 于 其 
他 类 型 的 信息 传输 。 

PGP 及 其 源码 都 可 从 因特网 上 免费 得 到 。 这 说 明 自 诞生 以 来 PGP 经 历 了 密码 分 析 者 的 大 量 
仔细 研究 ， 他 们 想 发 现 其 中 可 以 利用 的 缺陷 。 

PGP 有 四 个 模块 ， 一 个 对 称 密码 一 一 IDEA 用 于 消息 加 密 ， 一 个 公 钥 算法 一 一 RSA 用 于 加 
_ 密 IDEA 的 密 钥 和 散 列 值 ， 一 个 单 向 散 列 函 数 一 -MD5 用 于 签名 和 一 个 随机 数 生成 器 。 

用 一 个 对 称 算法 (IDEA) 来 加 密 消息 主体 的 事实 表明 PGP 生 成 的 电子 邮件 在 加 密 和 解密 
时 比 其 他 用 RSA 的 邮件 快 得 多 。 用 于 IDEA 模 块 的 密 钥 作为 一 次 性 会 话 密 钥 每 次 都 要 随机 产生 ， 
这 使 得 PGP 很 安全 ， 因 为 即使 一 个 消息 被 破译 了 ， 所 有 原来 的 和 后 续 的 消息 都 保持 安全 。 这 
个 会 话 窗 钥 再 用 收 信 人 的 RSA 公 钥 加 密 。 因 为 所 用 密 钥 的 长 度 可 以 到 达 2048 比 特 ， 因 此 是 极 
其 安全 的 。MD5 可 用 来 产生 消息 的 散 列 码 ， 送 信人 可 以 用 自己 的 私 钥 对 它 签名 。PGP 安 全 性 
的 另 一 个 特色 是 用 户 的 私 铀 用 一 个 杂乱 的 口令 短语 加 密 ， 而 不 是 用 简单 的 口令 ， 这 使 得 私 铀 
极其 能 抗 复制 攻击 ， 即 使 能 进入 用 户 的 计算 机 也 没 用 。 

用 计算 机 产生 真正 的 随机 数 是 极其 困难 的 。PGP 试 图 利用 用 户 敲 击 键盘 时 的 反应 时 间 来 产 
生 随机 数 。 这 表明 其 程序 测量 击 键 的 间隔 时 间 。 初 看 上 去 这 明显 不 是 随机 的 ， 而 实际 上 非常 
有 效 一 人 们 击 某 些 键 需要 比 其 他 键 更 长 的 时 间 ， 思 考 时 的 停顿 、 犯 错误 和 其 他 原因 〈 比 如 对 
内 容 的 熟悉 程度 及 劳累 程度 等 都 会 改变 打字 速度 。 这 些 度量 结果 并 不 直接 被 利用 ， 而 是 用 来 
触发 伪 随 机 数 生成 器 。 也 有 其 他 随机 数 生 成 方法 ， 但 要 得 到 更 好 的 效果 会 变 得 异常 复杂 。 

PGP 用 一 个 很 聪明 但 也 很 复杂 的 协议 来 进行 密 钥 管 理 。 每 个 用 户 产 生 并 分 发 他 们 的 公 铀 。 
例如 ， 如 果 和 詹姆斯 相信 某 个 密 钥 属 于 它 所 说 的 人 ， 则 短 姆 斯 可 以 对 那个 人 的 公开 密 钥 签名 ， 
从 而 詹姆斯 的 程序 将 接受 来 自 那 个 人 的 消息 。 用 户 可 以 对 其 他 用 户 有 不 同 程度 的 信任 。 例 如 
詹姆斯 可 能 完全 相信 厄 尔 对 其 他 人 的 密 钥 进行 的 签名 ， 相 当 于 说 “对 他 的 话 我 完全 相信 ”。 这 
说 明 者 雷 切 尔 有 一 个 密 钥 被 厄 尔 签 过 名 ， 她 想 跟 詹姆斯 进行 通信 ， 需 要 将 她 的 被 签 过 名 的 密 
钥 传 送 给 和 詹姆斯。 詹姆斯 的 程序 可 以 辨认 厄 尔 的 签名 ， 并 被 告知 可 以 相信 厄 尔 签 名 的 密 钥 ， 
因此 可 以 接受 雷 切 尔 的 密 钥 。 这 等 效 于 厄 尔 将 雷 切 尔 介绍 给 了 詹姆斯 。 

PGP 人 允许 对 人 们 各 种 不 同 程度 的 信任 ， 这 一 点 由 图 8-4 做 了 最 好 说 明 。 解 释 如 下 : 

(1) 第 一 行 。 和 詹姆斯 对 厄 尔 、 莎 拉 、 雅 各 布 和 凯特 的 密 钥 进 行 了 签名 。 和 詹姆斯 完全 相信 厄 
尔 对 他 人 的 密 钥 的 签名 ,但 一 点 也 不 相信 莎 拉 ， 而 仪 对 雅 各 布 和 凯特 有 一 点 相信 (他 对 雅 各 
布 比 对 凯特 更 相信 一 点 )。 

(2) 第 二 行 。 尽 管 俯 姆 斯 没有 对 山姆 的 密 钥 签名 ， 他 仍然 相信 山姆 对 他 人 的 密 钥 进行 签名 ， 
比如 对 鲍 勃 的 帘 钥 签 了 名 ， 因 为 他 们 实际 见面 了 。 因 为 厄 尔 对 备 切 尔 的 密 钥 签 了 名 ， 雷 切 尔 
被 证 实 了 (但 还 不 相信 它 对 别 的 密 钥 的 签名 )。 即 使 鲍 勃 的 密 钥 被 莎 拉 和 雅 各 布 签名 ， 因 为 莎 
拉 不 是 被 信任 的 ， 而 雅 各 布 只 是 部 分 被 信任 ， 因 此 鲍 勃 仍然 得 不 到 证 实 。 两 个 部 分 信任 的 人 ， 
雅 各 布 和 凯特 对 阿 琪 的 密 钥 签 了 名 ， 因 此 阿 琪 被 得 到 了 证 实 。 

(3) 第 三 行 。 完 全 被 信任 的 山姆 对 哈 尔 的 密 钥 签 了 名 ， 因 此 哈 尔 得 到 了 证 实 。 路 易 丝 的 密 
钥 有 雷 切 尔 和 鲍 勃 的 签名 ， 但 他 们 都 不 被 信任 ， 因 此 路 易 丝 没有 被 证 实 。 
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= 完全 信任 | = 部 分 信任 到 
到 很 低 的 程度 


= B 的 密 钼 直接 被 
| = 未 被 证 实 


] 证 实 或 被 引入 






”| = 部 分 信任 xl 


由 级 别 1 一 具有 由 詹姆斯 
下 签名 的 密 钥 的 人 





级 别 2 一 具有 由 级 别 1 的 人 员 
签名 的 密 钥 的 人 








级 别 3 一 具有 由 级 别 2 的 人 员 
签名 的 密 钥 的 人 


图 8-4 一 个 PGP 用 户 网 的 例子 


(4) 零星 的 窗 铀 。 远 克 的 密 铀 没有 被 希 刀 斯 组 中 的 任何 人 签名 ， 家 类 是 相国 翌 网 直 
发 现 密 钥 的 ， 但 不 知 其 真实 性 。 

PGP 从 不 阻挡 用 户 发 送 或 接收 电子 邮件 ， 而 如果 窗 钥 没 得 到 证 实 ， 那么 它 会 警告 用 户 ， 
但 如 何 做 出 决定 则 完全 看 用 户 是 否 注 意 到 了 警告 信息 。 

(5) 密 钥 撤回 。 如果 一 个 用 户 泄露 了 私 钥 ， 则 他 们 可 以 发 送 一 个 密 铀 撒 团 证书。 令 人 造 估 
的 是 并 不 是 每 个 拥有 该 用 户 的 公 钥 的 人 都 将 收 到 该 证 书 ， 因 为 密 钥 通 常 在 无 组 织 地 进行 交换 。 
另外 ， 如 果 该 用 户 不 再 拥有 私 钥 ， 他 便 不 能 签署 证 书 ， 因 为 它 需 要 私 钢 来 签名 。. 

(6) PGP 的 安全 性 。 常 言 道 “ 一 个 链 同 它 最 弱 的 连接 处 一 样 强壮 ”， 它 对 PGP 也 是 正确 的 。 
如 果 一 个 用 户 选 取 40 比 特 RSA 密 钥 来 加 密会 话 密 钼 而 且 从 不 证 实 任何 用 户 ， 那 么 PGP 不 会 很 
安全 。 但 是 如 果 用 2048 比 特 的 RSA 密 钥 ， 而 且 用 户 有 充分 的 警惕 性 ， 那 么 PGP 是 公众 所 期 户 
得 到 的 最 接近 军事 等 级 加 密 水 平 的 东西 。 

我 们 将 NSA 副 主任 的 说 法 摘录 如 下 ， 

“如 果 此 界 上 所 有 个 人 计算 机 ， 估 计 有 2 亿 6 二 万 台 ， 对 一 个 PGP 加 密 过 的 消息 进行 破译 的 
话 ， 仍 红 平 均 需 要 字 窗 年龄 1 十 2 可 万 们 长 的 时 间 来 完成 。 

公 名 密码 学 的 一 个 缺点 是 任何 人 都 可 以 用 你 的 公 铀 给 你 发 送 消息 ， 于 是 有 必要 证 明 该 消 
息 来 自 于 它 所 说 的 发 信人 。 对 一 个 用 某 人 的 私 铀 加 密 过 的 消息 ， 任 何人 都 可 以 用 该 人 的 公 铀 
进行 解密 。 这 说 明 如 果 发 信人 用 其 私 钥 加 窗 一 个 消息 ， 然后 对 得 到 的 密 文 再 用 收 信人 的 公 铀 
进行 加 密 ， 则 收 信人 可 以 首先 用 他 们 的 私 铀 进行 解密 ， 然后 用 发 信人 的 公 铀 解密 来 恢复 消息 ， 
从 而 证 明 消息 来 自 正确 的 发 信人 。 

这 一 过 程 很 花 时 间 ， 因 此 很 少 用 。 更 为 常用 的 对 消息 的 数字 签名 方法 是 用 一 个 称 为 单 疝 
散 列 变换 的 方法 。 


8.11 单 向 散 列 变换 


单 向 散 列 函 数 是 一 个 接受 任意 长 度 的 消息 串 并 输出 一 个 较 小 固定 长 度 字符 串 〈 散 列 值 ) 
的 数学 函数 。 这 样 的 函数 设计 成 不 仅 从 一 个 消息 的 散 列 值 中 恢复 该 消息 是 困难 的 ， 而 且 即 使 
告诉 我 们 所 有 散 列 值 的 长 产 ， 我 们 也 不 能 找到 两 个 具有 相同 散 列 值 的 消息 。 事 实 上 ， 要 找到 
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两 个 具有 相同 的 128 比 特 散 列 函 数值 的 消息 ， 需 要 测试 2“ 个 散 列 值 。 换 句 话 说， 一 个 文件 的 散 
列 值 是 该 文件 很 小 的 惟一 “手印 ”， 即 使 对 输入 串 做 很 小 的 更 改 ， 都 将 导致 散 列 值 急 剧 地 变化 。 
即使 在 输入 串 中 有 1 比特 改变 了 ， 都 将 导致 散 列 值 大 约 一 半数 目的 比特 发 生变 化 。 这 种 性 质 称 
为 雪崩 效果 (Avalanche Effect ') 。 
五 = 散 列 值 ，f= 散 列 函 数 ，M= 原 消息 ， 则 
H=AM) (8-10) 

如 果 你 知道 M， 那 么 很 容易 计算 妃 。 但 是 知道 W 和 /， 要 计算 1 是 不 容易 的 ， 而 且 在 计算 上 
是 不 可 行 的 。 

只 要 有 很 小 的 碰撞 可 能 ( 即 两 个 消息 散 列 到 同一 值 )， 而 且 访 散 列 很 难 求 逆 ， 则 一 个 单 向 
散 列 函数 在 密码 学 的 许多 方面 都 是 特别 有 用 的 。 

如 果 你 对 一 个 消息 做 单 向 散 列 ， 结 果 将 短 得 多 ， 但 仍然 是 惟一 数 〈 至 少 在 统计 上 是 这 样 
的 ) 。 这 可 以 作为 一 个 消息 所 有 人 的 证 明 ， 而 不 需要 泄露 实际 消息 内 容 。 例 如 不 需要 保留 关于 
有 版 权 的 文件 的 数据 库 ， 只 需要 储存 每 个 文件 的 散 列 值 即 可 ， 这 样 一 来 不 仅 节 省 了 储存 空间 ， 
也 提供 了 很 高 的 安全 性 。 如 果 需 要 证 明 版 权 ， 所 有 人 可 以 给 出 原文 件 并 证 明 它 散 列 到 那个 值 。 

散 列 函 数 也 可 以 用 来 证 明文 件 没有 被 更 改 ， 因 为 在 文件 中 即使 添加 一 个 字符 都 会 完全 改 
变 它 的 散 列 值 。 

至 此 散 列 函数 最 通常 的 用 途 是 对 消息 的 数字 签名 。 发 信人 在 一 个 明文 消息 上 施加 单 向 散 
列 变换 ， 并 用 他 的 私 钥 进行 加 密 ， 然 后 用 收 信人 的 公 钥 对 两 个 输出 进行 再 加 密 ， 并 用 通常 方 
法 发 送出 去 。 收 信人 解密 密 文 后 ， 他 可 以 用 发 信人 的 公 钥 对 散 列 值 进行 解密 ， 然 后 他 可 以 对 
该 明文 消息 施加 单 向 散 列 变换 ， 将 此 结果 同 接 收 到 的 进行 比较 。 如 果 两 个 散 列 值 相同 ， 则 收 
信人 不 仅 知道 消息 来 自 正确 发 信人 ， 因 为 散 列 值 是 用 发 信人 的 私 钥 加 窗 过 的 ， 而 且 确 信和 明文 
消息 完全 可 人 入， 因为 它 散 列 到 相同 的 值 。 

微软 密码 产品 供应 商 支 持 三 个 散 列 算法 : MD4、MD5 和 SHA。MD4 和 MD5 都 是 Ron 
Rivest 发 明 的 。MD 代 表 消 息 摘要 (Message Digest) 。 两 个 算法 都 产生 128 比 特 的 散 列 值 。 
MD5 是 MD4 改 进 的 版 本 。SHA 代 表 安 全 散 列 算法 ， 它 是 NIST 和 NSA 设 计 的 。SHA 产 生 160 比 
特 的 散 列 值 ， 比 MS4 和 MD5 的 要 长 些 。 人 们 一 般 认 为 SHA 比 其 他 算法 更 安全 ， 也 是 推荐 散 列 
算法 。 


8.12 其 他 技术 


(1) 一 次 一 密 (One Time Pad) 一 次 一 密 是 由 Major Joseph Mauborgne 和 Gilbert 
Bernam 于 1917 年 发 明 的 ， 而 且 是 无 条 件 安 全 的 〈 即 不 可 破译 的 ) 算法 。 一 次 一 密 的 理论 很 简 
单 。 基 垫 是 一 个 由 字母 组 成 的 不 重复 随机 串 。 基 垫上 的 每 个 字母 在 加 密 对 应 明文 字符 时 只 使 
用 一 次 。 使 用 后 ， 该 基 垫 必须 永远 不 再 使 用 。 只 要 该 基 垫 保持 安全 ， 消 息 也 是 安全 的 。 这 是 
因为 一 个 随机 密 钥 与 一 个 不 随机 消息 相 加 后 得 到 一 个 完全 随机 的 窗 文 ， 而且 绝对 没有 什么 分 
析 或 运算 可 以 改变 它 。 如 果 两 个 基 垫 都 被 席 坏 掉 了 ， 则 原来 消息 将 永远 不 能 被 恢复 。 有 两 个 
主要 的 缺点 : 

首先 ， 要 生成 真正 随机 的 数 是 特别 困难 的 ， 而 一 个 哪怕 只 有 一 对 不 随机 性 质 的 基 垫 都 在 
理论 上 是 可 破 的。 其 次 ， 因 为 基 垫 不 管 有 多 么 大 都 不 能 重复 使 用 ， 基 垫 的 大 小 必须 要 与 消息 
一 样 大 ， 这 对 文字 不 成 问题 ， 但 对 视频 则 事实 上 是 不 可 能 的 。 
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(2) 隐 和 码 学 (Steganography) 隐 码 学 实际 不 是 一 种 加 密 消息 的 方法 ， 而 是 把 它们 隐藏 
在 其 他 东西 后 面 以 使 它们 不 被 检测 到 。 传 统 上 这 通过 无 色 墨 水 、 微 胶片 或 在 一 个 消息 中 取 每 
一 个 单词 的 第 一 个 字母 来 实现 。 现 在 我 们 把 消息 藏 在 图 像 或 声音 文件 里 。 例 如 在 一 个 256 色 图 
像 中 ， 如 果 每 一 字 节 的 最 后 一 个 比特 用 消息 的 一 个 比特 来 取代 ， 那 么 人 的 眼睛 是 不 可 分 辨 结 
果 的 。 人 窃听 者 也 许 没 有 意识 到 消息 正 被 传送 。 这 不 是 密码 学 ， 但 是 尽管 它 可 以 蒙骗 人 的 眼睛 ， 
计算 机 却 可 以 很 快 检测 到 ， 而 且 能 将 原 消息 复制 出 来 。 

(3) 安全 邮件 和 S/MIME ”安全 多 用 途 因 特 网 邮件 扩张 系统 (Secure Multipurpose Internet 
Mail Extension, S/MIME) 是 RSA 数 据 安全 公司 建立 在 公 铀 密码 学 基础 上 的 为 发 送 安全 邮件 而 
研发 的 事实 上 的 标准 。MIME 是 电子 邮件 的 工业 标准 ， 它 定义 了 消息 主体 的 结构 。S/MIME 支 
持 电 子 邮 件 的 应 用 ， 并 在 其 结构 上 加 入 了 数字 签名 和 加 密 功 能 ， 以 确保 消息 的 完整 性 、 数 据 
来 源 认证 和 电子 邮件 的 保密 性 。 

当 发 送 一 个 签 了 名 的 消息 时 ， 一 个 PKCS#7 格 式 的 签名 作为 附件 连同 消息 一 起 发 送 。 签 名 
附件 包含 用 发 信人 私 钥 签 过 名 的 原 消 息 的 散 列 值 和 签名 人 的 证 书 。S/MIME 也 支持 先 用 发 信人 
私 钥 签 名 再 用 收 信 人 公 和 钥 封 包 的 消息 。 


8.13 椭圆 曲线 密码 学 


大 部 分 公 钥 密码 系统 的 安全 性 依赖 于 对 单 向 函数 求 逆 的 困难 性 。 但 是 对 单 向 函数 求 逆 的 
运算 并 不 是 在 所 有 代数 结构 中 都 是 同样 困难 的 。 椭 圆 曲 线 密码 学 (ECC) 越 来 越 受 到 重视 ， 
正 是 因为 在 这 些 群 中 还 未 找到 一 个 亚 指 数 时 间 的 算法 来 对 离散 指数 函数 求 逆 。 因 此 ， 为 了 攻 
破 传统 的 公 钥 密码 系统 ， 就 必须 使 用 标准 的 指数 时 间 算 法 。 椭 圆 曲 线 密 码 学 的 根本 优势 就 在 
于 和 传统 的 公 钼 密码 系统 (例如 RSA) 相 比 ， 达 到 相同 等 级 的 安全 性 所 需要 的 密 钥 长 度 更 短 。 

记 Z, 表 示 整 数 集合 {0, 1,2,…,p 一 1}， 其 中 p 是 一 个 奇 素数 。 如 下 定义 一 个 在 Z, 上 的 椭 贺 曲线 : 

y =X +ax+b(modp) (8-11) 


a, bEZ, ， 并 且 4a + 27 刀 了 0(mod p)。 对 任意 给 定 的 a, bEZ,， 上 面 的 方程 有 在 Z, 上 的 一 对 
解 x, y， 可 以 如 下 表示 : 
E(Z,)={(%, Wlx, yEZ,&!. 
?=x+ax+b (mod p)E. (8-12) 
4a’ + 27b*#0(mod p)} 


集合 E(Z,) 由 所 有 满足 式 (8-12) 的 (x,y) EZ 组 成 。 除 了 在 椭 贺 曲线 上 的 点 ， 还 需要 考虑 一 
个 特殊 的 点 ， 无 穷 远 点 OO。 椭圆 曲 线 上 的 一 些 性 质 如 下 ， 
(1) 对 所 有 的 PEE(Z,)， 均 有 P+0O = O+P。 
(2) 如 果 P=(x, y)EE(Z,))， 则 Gx; y)+(x, 一 7)=O。 点 (x, 一 妨 又 叫做 - 忆 。 注 意 一 P 永 远 是 椭圆 曲 
线 上 的 点 。 
(3) 记 P=(, y)EE(Z,)，Q=(x2, y1)EE(Z,)， 并 且 P 了 一 Q， 则 P+Q=(xs, ys)， 其 中 
X= 人 一 XI 一 大 2 
y3= AKCI 一 23) 一 多 (8-13) 
间 - 四 ”如果 PO 
X2 A 


3xt +a 如 果 P-Q 
2y 


并 且 1- 


癌 3 草 答 码 学 219 





因此 很 容易 计算 2P, 3P,…, kP。 自 相 加 的 计算 可 以 通过 一 些 几何 技巧 来 更 高 效 的 实现 。 
椭圆 曲线 密码 学 的 基础 在 于 给 定 @ = kP， 很 难 找 到 k 的 值 。 我 们 将 在 下 一 节 使 用 这 个 性 质 来 分 
析 椭 圆 曲 线 上 的 Diffie-Hellman 协 议 。 





例 8.8 令 p=23,a=1,5=1。 椭 圆 曲 线 可 以 表示 为 定义 在 Z,; 上 的 
yy x+x+l 
容易 验证 4a + 27 刀 关 0(mod p)。 在 此 椭圆 曲 线 上 的 点 有 无 穷 远 点 O 和 以 下 各 个 点 ，; 
(0, 1), (0, 22), (1,7), (1, 16), (3, 10). (3, 13), (4,0), 
(5,4), (5, 19), (6, 4), (6, 19), (7, 11). (7, 12), (9,7), (9, 16), (11, 3), (11, 20), (12, 4), 
(12, 19), (13,7), (13, 16), (17, 3), (17, 20), (18, 3), (18, 20) (19, 5), (19, 18)。 
令 P= (3,10),@ = (9,7)。 为 了 计算 P+Q， 我 们 根据 式 (8-13) 首 先 确定 4， 
4 10 .31iez, 
9-3 6 2 
因此 ， 
Xi=11” -3-9=17(mod 23) 
y3 =11(3-(-6)) -10 = 20(mod 23) 


所 以 ，P+@ = (17, 20)EE(Z23)。 
接 下 来 ， 我 们 计算 P+P = 2P， 同 样 地 ， 我 们 根据 式 (8-13) 计 算出 
1 = 一 一 一 = 一 =- 一 =6EZ, 
20 20 4 
Xx3=6 -3-3=7(mod 23) 
y; =11(3-7)-10= 20(mod 23) 


所 以 ，2P= (7, 12)EE(Z23)。 
例 8.9 ”我 们 探讨 一 下 椭圆 曲线 的 离散 对 数 问题 。 我 们 考虑 这 样 一 条 椭圆 曲线 ， 其 中 
=23,a = 9,b=17。 因 此 ， 椭 圆 曲 线 可 以 表示 为 定义 在 Z,3 上 的 y? 三 +9x+17。 
我 们 试 着 回答 下 面 的 问题 点 Q = (4, 5) 关 于 基 P = (16, 5) 的 离散 对 数 k 是 多 少 ? 也 就 是 点 P 
进行 自 加 操作 多 少 次 才能 得 到 Q? 有 一 种 暴力 方式 就 是 直接 算 2P, 3P,…,kP 直 到 和 Q 点 匹配 。 
例如 ,，P = (16, 5), 2P= (20, 20), 3P= (14, 14), 4P= (19, 20), 5P= (13, 10), 6P= (7, 3), 7P= 
(8, 7), 8P= (12, 17), 9P= (4, 5)。 因 此 k=9。 
在 实际 应 用 中 ，k 很 大 ， 而 计算 这 样 的 需要 花费 很 大 代价 。 如 前 面 所 说 的 ， 椭 圆 曲 线 密 
码 学 的 基础 在 于 给 定 8=kP， 很 难 找 到 k 的 值 。 





8.14 Diffie-Hellman 密 钥 协商 协议 


Diffie-Hellman 密 钥 协商 协议 (又 称 为 指数 密 钥 协商 ) 是 由 Diffie 和 Hellman 于 1976 年 在 具 
有 划时代 意义 的 论文 “New Direction in Cryptography” (lIEEE Transaction on Information 
Theory) 中 提出 来 的 。 此 协议 使 得 处 于 一 个 不 安全 信道 上 的 两 个 用 户 在 没有 预先 共享 秘密 的 
情况 下 建立 起 一 个 共享 密 钥 。 

协议 有 两 个 系统 参数 P 和 8。 它 们 是 公开 的 ， 并 且 被 系统 中 所 有 用 户 使 用 。 参 数 p 是 一 个 素 
数 ， 参 数 8 (通常 称 为 生成 元 ) 是 一 个 小 于 p 的 整数 ， 并 且 有 以 下 性 质 : 对 任意 的 nE[1, p 一 1]， 


220 弟 三 这 分 多 会 通信 编码 


有 一 个 指数 k 使 得 
n= g* (mod p) (8-14) 
假设 Alice 和 Bob 需 要 使 用 Diffie-Hellman 密 钥 协 商 协议 建立 一 个 共享 密 钥 。 他 们 需要 执行 
以 下 步骤 : 
(1) Alice 生 成 一 个 随机 秘密 值 <，Bob 生 成 一 个 随机 秘密 值 5。a 和 8 都 是 从 整数 集合 中 选取 。 
(2) 通过 使 用 参数 p, 8， 他 们 各 自 计 算 公开 值 :， Alice 计 算 g8" (mod 让，Bob 计 算 g*(mod p)。 
(3) Alice 和 Bob 交 互 各 自 计 算 的 公开 值 。 
(4) 最 后 ，Alice 计 算 g%=(g*)(mod p)，Bob 计 算 g”=(g* (mod p)。 因 为 gs~*= goe= 大， 所 以 
共享 密 钥 就 建立 起 来 了 。 





例 8.10 我 们 在 椭圆 曲线 密码 学 中 实现 Diffie-Hellman 协 议 。 具 体 步骤 如 下 ， 
(1) Alice 和 Bob 先 商定 好 一 个 公开 值 已 

(2) Alice 选 树 一 个 随机 秘密 值 &。， 并 根据 椭圆 曲线 算法 计算 UP， 然 后 公开 此 值 。 
(3) Bob 选 择 一 个 随机 秘密 值 名 ， 并 根据 椭圆 曲线 算法 计算 如 P， 然 后 公开 此 值 。 
(4) Alice 接 收 到 ksP 后 ， 根 据 椭 圆 曲 线 算法 计算 ks (ksP)。 

(5) Bob 接 收 到 k&P 后 ， 根 据 椭圆 曲线 算法 计算 ks (KP)。 

(6) 由 于 Kk (ksP)=kg (kaP)，Alice 和 Bob 之 间 建 立 起 一 个 共享 密 钥 。 
具体 过 程 见 图 8-5。 


A 










选择 秘密 值 ，A | 





选择 秘密 值 ，k 
计算 和 公开 : ksP 





计算 和 公开 : KP 
计算 来 自 名 和 Ko 忆 
的 ka(ksP) 
决定 使 用 kksP 的 共同 
部 分 作为 共享 密 铀 


图 8-5 使 用 椭圆 曲线 的 Ditfie-Hellman 窗 钼 协商 协议 













计算 来 自 b 和 kaP 
的 ka(kaP) 










协议 的 安全 性 依赖 于 求 离散 对 数 的 困难 性 假设 ， 也 就 是 当 素 数 p 很 大 时 ， 给 定 两 个 公开 的 
值 g* (mod p) 和 g* (mod p)， 输 出 值 = 8 (mod p) 是 计算 困难 问题 。 

Diffie-Hellman 密 钥 协 商 协议 容易 遭 到 中 间 人 攻击 。 在 攻击 过 程 中 ， 敌 手 Carol 截 获 Alice 的 
公开 值 ， 然 后 把 他 自己 计算 的 公开 值 发 送 给 Bob。 当 Bob 发 送 其 计算 的 公开 值 时 ，Carol 又 用 他 
自己 的 公开 值 去 替换 Bob 的 公开 值 ， 然 后 发 送 给 Alice。 此 时 ，Carol 和 Alice 可 以 共享 一 个 密 钥 ， 
Carol 和 Bob 同 样 也 可 以 共享 另外 一 个 密 钥 。 因 此 ，Carol 可 以 解密 Alice 或 者 Bob 传 输 的 消息 ， 或 
者 段 改 消息 ， 再 用 相应 的 密 钥 重 加 密 后 传送 给 另 一 方 。 造 成 这 种 攻击 的 原因 在 于 Diffie-Hellman 
协议 没有 对 通信 双方 进行 认证 。 所 以 解决 方案 可 以 是 使 用 数字 签名 机 制 ， 或 者 其 他 类 似 方案 。 


条 8 划 繁 码 学 221 





8.15 利用 混沌 理论 实现 安全 通信 


混沌 函数 也 用 于 安全 通信 和 密码 学 应 用 。 这 里 的 混沌 函数 指 呈 现 混 沌 现象 的 迭代 差分 方 
程 。 如 果 我 们 注意 到 密码 学 更 注重 不 可 预测 性 而 不 是 随机 性 这 一 事实 ， 那 么 混沌 函数 是 很 好 
的 选择 ， 因 为 他 们 的 不 可 预测 特性 。 如 果 一 个 黑客 截获 部 分 序列 ， 他 将 没有 预测 下 一 个 是 什 
么 的 信息 。 混 沌 函数 的 不 可 预测 性 使 它们 成 为 生成 对 称 密码 学 的 密 钥 的 很 好 选择 。 


例 8.11 考虑 差分 方程 





Xn+1= ax,(l1 —xX,) (8-15) 

当 a= 4 时， 这 个 函数 表现 为 一 个 混沌 函数 ， 即 

(1) 用 连续 选 代 得 到 的 值 是 不 可 预测 的 。 

(2) 该 国 数 对 初始 条 件 z 极 其 敏感 。 
对 任意 给 定 的 初始 条 件 ， 该 函数 将 对 每 一 次 迭代 产生 一 个 在 0 和 1 之 间 的 值 %.。 这 些 值 可 作为 
密 钥 生成 的 很 好 的 候选 值 。 在 单 密 钥 密 码 学 中 ， 密 钥 用 于 对 消息 的 加 密 。 该 密 钥 通常 为 伪 品 
声 (PN) 序列 。 消 息 可 以 简单 地 同 密 钥 进行 异 或 运算 以 搅乱 它 。 因 为 z 的 值 为 正 且 总 是 小 于 1 ， 
这 些 分 数 的 二 进 制 表示 可 作为 密 钥 。 因 此 ， 用 这 些 随机 不 可 预测 的 十 进 制 数 来 产生 密 钼 的 一 
种 方法 是 直接 用 它们 的 二 进 制 表示 。 这 些 二 元 序列 的 长 度 将 仅 受 限于 这 些 十 进 制 数 的 精确 度 ， 
因此 也 可 以 产生 很 长 的 二 元 密 钥 。 收 信人 必须 知道 初始 条 件 来 产生 解密 密 钥 。 





对 单 密 钥 密码 学 的 应 用 ， 下 面 两 个 因素 需要 确定 : 

(1) 迭代 开始 的 值 (xo)。 

(2) 用 于 计算 的 十 进 制 数 尾数 的 长 度 以 避免 尾数 取舍 引起 的 错误 )。 

对 单 密 钥 密码 学 ， 经 过 一 些 迭 代 后 的 混沌 值 被 转换 为 二 进 制 小 数 ， 它 们 的 前 64 比 特 被 用 
于 产生 PN 序列 。 这 些 初始 迭代 使 黑客 更 难 猜 到 初始 条 件 。 初 始 值 应 该 在 0 与 1 之 间 。 正 确 选择 
初始 值 可 以 很 大 程度 地 提高 性 能 。 

初始 值 xo 的 保密 性 是 该 算法 成 功 的 关键 。 因 为 混沌 函数 对 初始 值 (xo) 哪怕 10-“ 的 错误 
都 极其 敏感 ， 这 说 明 我 们 可 以 有 10” 个 不 同 的 初始 组 合 。 因 此 一 个 知道 该 混沌 函数 和 加 窗 算 
法 的 黑客 也 需要 试验 10” 个 不 同 的 初始 组 合 。 在 DES 算 法 中 ， 黑 客 需 要 试验 大 约 10” 个 不 同 的 
密 钥 值 。 


8.16 量子 密码 学 


传统 密码 学 利用 一 些 数学 技巧 阻止 敌手 获得 密 文 消 息 ， 而 量子 密码 学 则 是 利用 物理 法 则 
来 达到 对 消息 的 机 密 性 保护 。 传 统 密码 学 中 不 能 保证 绝对 的 安全 。 量 子 密码 学 却 可 以 提供 一 
个 绝对 通信 安全 的 专用 信道 ， 使 得 通过 此 信道 通信 双方 可 以 交互 一 个 加 密 密 钥 。 在 量子 密码 
学 中 ， 安 全 通信 系统 利用 了 海 森 堡 测 不 准 原 理 和 量子 纠缠 原理 。 

一 个 量子 密码 系统 的 描述 如 下 。 假 设 密码 系统 包含 一 个 发 射 器 和 接收 器 。 发 送 方 利用 发 
射 器 发 射 偏振 〈polarisation) 为 0"、45"、90`、135 "这 四 种 之 一 的 光量 子 。 接 收 方 在 另 一 端 利 
用 接收 器 对 偏振 进行 测量 。 根 据 量子 理论 ， 接 收 器 可 以 在 直线 偏振 (0" 和 90") 中 ， 或 者 在 对 
角 偏 振 (45 和 135") 中 进行 分 辨 。 但 是 接收 器 不 能 在 直线 偏振 和 对 角 偏 振 之 间 进 行 分 辨 。 密 
钥 分 发 过 程 的 步 晴 如 下 。 发 送 者 随机 选择 四 种 偏振 中 的 一 种 用 来 发 送 光量 子 。 对 每 一 个 接收 
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到 的 光量 子 ， 接 收 方 随机 选择 一 种 偏振 类 型 (直线 偏振 或 者 对 角 偏 振 ) 来 进行 测量 。 接 收 放 
记录 测量 结果 ， 并 把 结果 秘密 保存 。 接 下 来 ， 接 收 方 公 开 所 有 其 选择 用 来 测量 的 偏振 类 型 
(但 不 公开 测量 结果 ) ， 发 送 方 通知 接收 方 哪些 选择 的 偏振 类 型 是 正确 的 。 通 信和 双方 (发 送 方 
和 接收 方 ) 保留 所 有 当 接 收 方 选择 正确 偏振 类 型 时 的 事件 记录 。 这 些 记 录 然 后 转换 成 为 比特 
串 〈1 和 0) ， 这 个 比特 串 可 以 用 来 当做 密 铀 。 

由 于 窃听 者 预先 不 知道 每 一 个 光量 子 偏振 的 类 型 ， 所 以 窃听 者 必然 会 在 传输 中 引入 误差 。 
量子 机 制 同 时 防止 了 他 /她 获得 两 个 非 交 换 的 观察 量 (这 里 是 直线 偏振 和 对 角 偏振 )。 量 子 信 
道上 的 通信 双方 通过 揭示 密 钥 的 随机 子 集 以 及 公开 检查 误差 率 来 检测 偷 听 。 虽 然 他 们 不 能 阻 
止 偷 听 ， 但 是 他 们 经 常 可 以 检测 出 偷 听 者 的 存在 。 这 是 因为 ， 无 论 多 么 精巧 细致 的 对 信道 的 
窃听 行为 都 会 被 发 现 。 当 通信 双方 对 信道 的 安全 性 不 满意 时 ， 他 们 可 以 重新 再 次 建立 密 钥 。 
因 些 ， 量 子 密 码 学 使 得 通信 双方 可 以 在 一 条 达到 完美 安全 性 的 信道 上 进行 通信 。 





例 8.12 假设 A 和 B 和 希望 在 一 条 不 安全 的 信道 上 使 用 量子 密码 机 制 建立 一 个 密 钥 。 记 + 表示 
直线 基 (rectilinear basis) ， x 表示 对 角 基 (diagonal basis)。 直 线 偏振 (0" 和 90*) 用 1 和 一 表 
示 ， 对 角 偏 振 (45" 和 135") 用 /和 \ 表 示 。 通 信步 又 如 下 : 


A 选择 的 随机 比特 1 0 1 0 1 1 0 
A 选择 的 随机 基 + x x x 十 x 十 十 
A 发 射 的 偏振 一 / / \ 1 \ 一 1 
B 选 择 的 随机 基 十 十 x 十 x x x 十 
B 用 来 测量 的 偏振 一 一 / 一 / \ / 1 
公开 的 关于 基 的 讨论 

共享 的 密 钥 1 0 1 0 


现在 ，A 和 B 揭 示 密 钥 的 一 个 子 集 ， 并 且 比 较 是 否 所 有 比特 都 相等 。 假 设 他 们 比较 第 2 个 
比特 和 第 4 个 比特 。 在 此 例 中 ， 所 有 比特 都 匹配 ， 因 此 A 和 B 可 以 使 用 剩 下 的 两 个 比特 〈 第 1 个 
和 第 3 个 ) 作为 他 们 的 密 钥 。 如 果 有 敌手 窃听 ， 则 B 所 得 到 的 密 钥 中 的 一 些 比特 将 不 能 匹配 A 
所 得 到 密 钥 中 的 相应 比特 。 1 





8.17 生物 加 密 


传统 密码 学 使 用 的 加 密 密 钥 是 一 个 足够 长 的 比特 串 。 这 些 密 钥 ， 无 论 是 公 钥 ， 还 是 私 钥 ， 
都 是 密码 学 系统 重要 的 部 分 。 这 些 密 钥 由 于 长 度 比较 长 ， 所 以 这 种 使 用 密码 系统 的 用 户 很 难 
记 住 密 钥 。 因 此 ， 这 些 密 钥 可 以 由 一 些 易于 记忆 的 口令 或 者 PIN 码 经 过 一 定 的 变化 生成 。 但 由 
于 口令 长 度 短 ， 所 以 易于 被 穷 举 攻击 或 者 偷窃 。 因 此 口令 的 管理 在 密码 系统 中 是 一 个 弱点 。 
此 节 中 我 们 学 习 生 物 密码 学 。 


定义 8.11 生物 统计 学 是 这 样 一 个 自动 系统 。 此 系统 使 用 度量 的 、 物 理 的 或 者 生理 的 特征 
或 者 行为 的 特性 去 识别 身份 ， 或 者 验证 /认证 某 个 实体 所 声明 的 身份 。 

用 于 自动 识别 的 生物 特征 的 例子 有 :; 指纹 、 虹 膜 、 脸 部 、 手 或 者 手指 握 法 、 视 网 膜 、 声 
音 、 签 名 、 击 键 频率 、 体 味 和 DNA。 这 些 生 物 特 征 能 不 能 被 直接 用 为 密码 系统 中 的 密 钥 呢 ? 
遗憾 的 是 ， 答 案 是 否定 的 : 生物 图 像 或 者 模板 是 会 改变 的 ， 也 就 是 每 一 个 生物 样本 通常 是 不 
同 的 。 而 我 们 回顾 一 下 ， 在 传统 密码 学 中 ， 密 码 系统 不 能 容忍 密 钥 中 任何 一 比特 的 错误 。 

一 个 生物 统计 系统 通常 可 以 输出 “Yes/No” 的 回答 ， 这 个 回答 代表 了 信息 的 一 个 比特 。 
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因此 ， 生 物 学 的 作用 在 于 对 传统 密码 学 中 口令 的 保护 。 当 收 到 “Yes” 回 答 后 ， 系 统 开 启 口令 
或 者 密 钥 。 密 码 必须 存放 在 一 个 安全 地 方 (也 称 为 “可 信任 ”设备 )。 由 于 生物 统计 系统 和 业 
务 应 用 只 是 通过 一 个 比特 来 进行 联系 ， 所 以 此 方案 仍旧 很 容易 遭 到 攻击 。 生 物 模 板 或 者 图 像 
存放 在 某 一 个 数据 库 中 ， 而 此 数据 库 通 过 传统 密码 学 方法 进行 加 密 。 此 时 由 于 敌手 需要 先 获 
得 加 密 密 钥 ， 所 以 系统 的 安全 性 大 大 提高 。 由 于 密 钥 和 生物 统计 数据 由 数据 库 管 理 者 控制 ， 
所 以 ， 数 据 库 相关 的 隐私 问题 依然 存在 。 

很 明显 ， 由 于 自身 经 常 变化 ， 所 以 生物 图 像 或 者 模板 不 能 直接 作为 密 钥 使 用 。 但 是 ， 生 
物 图 像 包 含 的 信息 量 非常 大 : 例如 ， 一 个 300 x 300 像 素 的 图 像 ， 每 一 个 像素 用 8 比特 编码 ， 所 
以 此 图 像 一 个 300 x 300 x 8=720 000 比 特 的 信息 。 当 然 ， 在 此 数据 中 还 有 不 少 元 余 。 我 们 试 着 
问 以 下 问题 : 

(1) 有 没有 可 能 始终 从 这 个 720 000 比 特 中 抽取 长 度 较 短 (比如 128 位 ) 的 比特 ? 

(2) 有 没有 可 能 把 128 比 特 的 密 钥 和 生物 统计 信息 绑 定 在 一 起 ， 使 得 此 密 钥 始终 可 以 新 生成 ? 

第 一 个 问题 的 答案 很 明显 ， 但 是 第 二 个 问题 却 可 以 成 为 一 个 研究 的 新 领域 ， 称 为 生物 加 密 。 

定义 8.12 ”生物 加 密 是 通过 把 一 个 PIN 或 者 一 个 密 钢 和 菜 种 生物 统计 信息 绑 定 的 过 程 ， 从 
而 使 得 从 所 存储 的 的 模板 内 既 不 能 把 密 钢 也 不 能 把 生物 统计 信息 恢复 。 

数字 密 钥 (口令 或 者 PIN 等 ) 通常 是 在 注册 时 随机 生成 的 ， 用 户 可 能 不 知道 此 密 钥 。 此 密 
钥 本 身 和 生物 统计 信息 完全 独立 ， 可 以 随时 改变 或 者 更 新 。 当 获得 一 个 生物 统计 样本 后 ， 生 
物 统 计算 法 安全 地 并 且 持 续 地 把 密 钥 和 生物 统计 信息 进行 绑 定 ， 从 而 得 到 一 个 受 保护 的 生物 
加 密 后 的 模板 ， 也 被 称 为 “私有 模板 ”(private tempiate) 。 实 质 上 ， 密 钥 是 用 生物 信息 进行 加 
密 的 。 生 物 加 密 模板 可 以 非常 好 地 提供 隐私 保护 ， 并 且 可 以 存储 在 数据 库 或 者 本 地 (智能 卡 、 
token、 和 笔记本、 手机 等 )。 注 册 完 成 后 ， 密 钥 和 生物 统计 信息 被 删除 。 

为 了 进行 生物 解密 ， 用 户 需 要 出 示 新 鲜 的 生物 信息 统计 样本 。 这 可 以 保证 当 应 用 于 一 个 
合法 的 生物 加 密 模 板 时 ， 生 物 加 密 算 法 可 以 恢复 出 相同 的 密 钥 /口令 。 换 句 话 来 说 ， 生 物 统计 
信息 就 是 起 到 解密 密 钥 的 作用 。 在 验证 的 最 后 ， 生 物 信息 统计 样本 再 次 被 删除 。 生物 加 密 算 
法 的 设计 还 需要 考虑 输入 生物 统计 信息 的 可 变性 ( 即 能 够 允许 生物 信息 一 定 程度 的 改变 ) 。 换 
句 话 说， 如果 生 物 信息 统计 样本 的 差距 太 大 ， 政 手 就 不 能 恢复 口令 。 


8.18 密码 分 析 


密码 分 析 是 不 需要 密 钥 而 从 密 文中 恢复 出 明文 消息 的 科学 (或 黑 艺 术 )。 在 密码 分 析 中 ， 
我 们 总 假设 密码 分 析 者 掌握 算法 的 全 部 情况 。 一 次 密码 分 析 尝 试 称 为 一 次 攻击 ， 它 有 五 种 主 
要 类 型 : 

* 强力 攻击 : 这 种 技术 需要 大 量 计算 能 力 和 很 长 运行 时 间 。 它 包括 在 逻辑 上 测试 所 有 可 能 

性 直到 发 现 正确 的 解 为 止 。 对 绝 大 多 数 加 密 算法 来 说 ， 强 力 攻击 是 不 现实 的 ， 因 为 有 太 

多 的 可 能 性 。 

。 仅 知 密 文 攻击 ; 密码 分 析 者 得 到 的 惟一 信息 是 用 同一 算法 加 密 的 一 些 密 文 。 

“已 知 明文 攻击 : 在 这 种 情况 下 ， 密 码 分 析 者 不 仅 知道 一 些 消息 的 密 文 ， 也 知道 它们 对 应 

的 明文 。 . 

* 选择 明文 攻击 : 密码 分 析 者 有 已 知 明文 攻击 条 件 下 的 信息 ， 但 这 次 可 以 选择 要 加 密 的 明 

文 。 这 种 攻击 更 有 力 ， 因 为 某 些 特殊 的 明文 组 可 以 被 选取 ， 它 们 可 能 会 泄露 关于 密 钥 的 

更 多 信息 。 一 种 适应 性 选择 明文 攻击 仅仅 是 密码 分 析 者 可 以 重复 加 密 明 文 ， 因 此 根据 前 








面 的 加 密 结果 可 以 修改 新 的 输入 。 

* 选择 密 文 攻 击 : 密码 分 析 者 用 一 种 较 新 的 称 为 差分 分 析 的 方法 ， 这 是 一 种 交互 的 迭代 过 

程 。 它 要 经 过 很 多 轮 的 运算 ， 每 次 用 到 前 一 轮 的 结果 ， 直 到 找到 密 钥 。 密 码 分 析 者 重复 

选择 要 解密 的 密 文 ， 而 且 能 得 到 解密 后 的 明文 。 在 这 些 条 件 下 他 们 试图 推导 出 密 钥 。 

只 有 一 种 完全 安全 的 算 靶 ， 那 就 是 一 次 一 密 。 所 有 其 他 算法 在 给 定 无 限时 间 和 资源 条 件 
下 都 是 可 破译 的 。 这 表明 ， 尽 管 在 理论 上 可 能 ， 但 需要 的 时 间 和 资源 使 得 它 完 全 不 现实 。 

假设 一 个 算法 是 完备 的 ， 则 破译 它 的 惟一 方法 是 试验 所 有 可 能 的 密 钥 ， 直 到 最 后 的 明文 
有 意义 。 如 前 面 所 述 ， 这 类 攻击 称 为 强力 攻击 。 平 行 计算 领域 完全 适合 强力 攻击 ， 这 样 每 一 
个 处 理 器 可 以 测试 一 些 可 能 的 密 钥 ， 而 且 它们 不 需要 相互 作用 ， 只 需要 宣布 结果 即 可 。 一 种 
变 得 越 来 越 流行 的 技术 是 用 连接 在 因特网 上 的 成 千 上 万 的 计算 机 进行 并 行 处 理 ， 这 称 为 分 布 
式 计算 。 许 多 密码 学 家 认为 当 使 用 长 的 窗 钥 时 强力 攻击 是 无 效 的 。 一 个 用 长 密 钥 (100 比 特 以 
上 ) 的 加 密 算法 即使 用 今天 强大 的 连 网 的 计算 机 来 攻击 都 需要 几 百 万 年 的 时 间 。 另 外 ， 添 加 
一 个 额外 的 密 钥 将 使 强力 密码 分 析 的 代价 翻 倍 。 

关于 强力 攻击 ， 有 另外 几 个 中 肯 的 问题 。 如 果 原 来 的 明文 本 身 是 个 密码 会 怎么 样 ? 在 那 
种 情况 下 ， 黑 客 怎么 知道 他 是 否 找到 了 正确 的 密 钥 ? 另外 ， 密 码 分 析 者 坐 在 计算 机 旁边 观察 
每 个 被 测试 的 密 钥 吗 ? 因此 我 们 可 以 设想 当 使 用 充分 长 的 密 钥 ， 强 力 攻击 是 不 可 能 的 。 

这 里 是 一 些 密码 分 析 者 在 攻击 密 文 时 使 用 的 技术 : 

* 差分 密码 分 析 ， 如 前 面 提 到 的 ， 这 种 技术 用 一 种 迭代 过 程 来 估算 由 一 种 迭代 分 组 算法 

(如 DES) 产生 的 密码 。 相 关 的 明文 用 同一 密 钥 加 密 ， 然 后 分 析 其 差别 。 这 种 技术 被 证 

明 对 DES 和 某 些 散 列 函数 是 成 功 的 。 

* 线性 密码 分 析 : 在 这 种 方法 中 ， 我 们 分 析 明 文 和 密 文 对 之 间 的 关系 ， 并 用 一 种 线性 近似 

技术 来 确定 分 组 密码 的 性 能 。 这 种 技术 也 成 功 地 用 于 对 DES 的 分 析 。 

“代数 攻击 : 这 种 技术 利用 了 分 组 密码 的 代数 结构 。 如 果 这 种 结构 存在 ， 那 么 用 一 个 密 铀 

的 一 次 加 密 可 能 和 用 两 个 不 同 密 钥 的 两 次 加 密 得 到 同样 的 结果 ， 因 此 可 以 缩短 搜索 时 间 。 

但 是 ， 不 管 加 密 所 用 的 算法 是 强 还 是 弱 ， 如 果 用 来 恢复 明文 所 消耗 的 时 间 和 /或 资源 远 远 
超出 得 到 消息 内 容 所 获 的 收益 ， 我 们 就 认为 消息 是 安全 的 。 这 可 能 是 因为 花费 的 代价 远 高 于 
消息 本 身 的 经 济 价值 ， 或 者 是 当 恢 复 销 息 时 内 容 已 经 过 时 了 。 


8.19 密码 学 中 的 政治 因素 


密码 体制 的 广泛 应 用 对 大 多 数 政府 来 说 都 不 是 很 受 欢 迎 的 事 一 一 更 精确 地 说 是 因为 它 给 予 
个 人 更 多 的 隐私 ， 包 括 罪 犯 。 许 多 年 来 ， 警 察 部 门 一 直 能 在 电话 线 上 搭 线 偷 听 和 截获 邮件 ， 
但 是 在 有 加 密 的 未 来 ， 那 将 变 为 不 可 能 。 

这 导致 了 政府 部 门 的 一 些 奇 怪 的 决定 ， 特 别 是 美国 政府 。 在 美国 ， 密 码 学 被 归 类 为 军用 
品 ， 而 含有 密码 体制 的 软件 的 出 口 受到 严格 控制 。 在 1992 年 ， 软 件 出 版 商 协会 与 美国 国务 院 
达成 协议 ， 人 允许 出 口 的 软件 含有 RSA 公 司 的 RC2 和 RC4 加 密 算法 ， 但 必须 限制 密 钥 长 度 为 40 比 
特 ， 而 在 美国 境内 所 用 的 是 128 比 特 的 密 钥 。 这 严重 降低 了 它 所 提供 的 保密 性 。 在 1993 年 ， 美 
国 国会 请 求 国 家 研究 理事 会 进一步 研究 美国 密码 学 政策 。 在 1996 年 的 报告 中 ， 两 年 的 工作 结 
果 提 供 了 下 述 结论 和 建议 ; 

。“ 综 合 考 虚 ， 密 码 学 的 广泛 应 用 优点 大 于 缺点 。” 

。*“ 不 应 该 用 法 律 来 禁止 在 美国 境内 制造 、 销 售 以 及 对 任何 形式 加 密 的 使 用 。” 
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。“ 对 密码 产品 的 出 口 控制 应 逐渐 放松 ， 但 不 能 没有 。” 

在 1997 年 ， 对 密 钥 长 度 的 限制 增加 到 56 比 特 。 美 国政 府 提出 了 几 种 方法 来 允许 更 强加 窗 方 
法 的 出 口 ， 所 有 这 些 都 是 基于 在 必要 情况 下 美国 政府 能 得 到 密 钥 的 系统 的 ， 例 如 clipper 芯片 。 
最 近 有 很 多 密码 学 界 人 士 对 美国 政府 限制 密码 技术 发 展 进行 了 抗议 。MIT 的 Ronald L. Rivest 教 
授 在 1988 年 Scientific American (116~ 117 页 ) 的 一 篇 题 为 “加 密 技 术 管制 的 现状 ”的 文章 就 是 
这 种 抗议 的 一 个 例子 。 该 问题 的 解决 被 认为 是 对 未 来 电子 商务 最 有 影响 的 事件 之 一 。 


8.20 评注 


在 本 节 中 我 们 将 介绍 密码 学 的 简单 历史 。 自 从 发 明文 字 以 来 ， 人 们 曾 试图 以 书写 形式 来 
隐藏 信息 。 有 尚 存 的 石刻 记录 和 草 纸 记 录 的 例子 都 表明 许多 古代 文明 包括 埃及 人 、 和 希 伯 来 人 
和 亚 述 人 都 开发 了 密码 体系 。 最 早 使 用 密码 进行 通信 的 是 斯 巴 达 人 ， 他 们 〈 早 在 公元 前 400 年 ) 
利用 一 种 称 为 scytale 的 密码 装置 在 军事 指挥 官 之 间 进 行 秘密 通信 。 

该 scytale 是 在 一 个 指挥 棒 上 缠 有 羊皮 纸 ， 然 后 在 羊皮 纸 上 刻 上 消息 。 一 旦 从 指挥 棒 上 解 
下 来 ， 羊 皮 纸 上 的 文字 看 上 去 无 法 理解 。 但 当 重新 缠 到 另 一 个 同样 大 小 的 指挥 棒 上 时 ， 就 出 
现 了 原来 的 文字 。 

希腊 人 最 早 发 明了 转换 密码 。 在 公元 前 四 世纪 ， 在 这 方面 最 早 的 论文 是 希腊 人 Aeneas 
Tacticus 写 的 ， 它 是 题 为 《防御 工 囊 的 护卫 》 的 著作 的 一 部 分 。 另 一 个 希腊 人 Polybius 后 来 发 
明了 一 种 将 字母 编码 成 一 对 符号 的 方法 ， 所 用 的 工具 叫做 波 力 比 阿 棋盘 ， 它 包含 许多 以 后 的 
加 密 体 系 常见 的 东西 。 除 希腊 人 之 外 ， 也 有 包括 罗马 人 等 其 他 文明 所 使 用 的 类 似 的 基本 替代 
和 转换 的 例子 。 波 力 比 阿 棋盘 有 五 行 五 列 的 方 格 ， 包 含 字母 集中 的 所 有 字母 。 每 一 个 字母 转 
换 成 两 个 数字 ， 第 一 个 是 可 以 找到 该 字母 的 行 ， 第 二 个 是 列 。 从 而 字母 A 变 成 11， 而 字母 B 变 
成 12， 依 此 类 推 。 

阿拉 伯 人 是 最 早 明白 理解 密码 学 原理 的 人 。 他 们 发 明 并 使 用 了 替代 和 转换 密码 ， 并 发 现 
了 利用 字母 频率 分 布 进行 密码 分 析 。 这 样 一 来 ， 大 约 在 1412 年 ，al-Kalkashandi 在 他 的 百科 全 
书 《Subh al-a"sha》 中 包括 一 个 如 果 算 比较 初步 ， 但 也 很 受 推 崇 的 对 许多 密码 体系 的 处 理 方法 。 
他 还 给 出 怎样 利用 字母 的 频率 计数 进行 密码 分 析 的 具体 指导 ， 并 给 出 了 例子 说 明 这 种 方法 。 

欧洲 密码 学 的 历史 可 以 追溯 到 中 世纪 ， 那 时 是 由 罗马 教皇 和 意大利 城市 政府 研发 的 。 最 
旱 的 密码 只 包括 元 音字 母 的 替换 (保留 辅音 字母 不 变 )。 包 括 对 密码 的 编辑 的 欧洲 第 一 本 密码 
学 指南 Circa (1379) 是 帕尔马 人 Gabriele de Lavinde 写 的 。 他 服务 于 罗马 的 克 菜 孟 七 世 。 该 指 
南 包 括 一 个 用 于 通信 的 密 钥 集合 ， 并 用 符号 代替 字母 和 零 ， 用 许多 二 字母 码 来 等 价 一 些 单词 
和 名 字 。 第 一 个 简单 的 码 字 典 ， 称 为 词汇 手册 ， 在 几 个 世纪 内 得 到 逐渐 扩展 ， 成 为 几乎 所 有 
欧洲 政府 的 外 交通 信 主 流 方式 。 在 1470 年 ，Leon Battista Alberti 在 《Trattati in cifra》 中 描述 
了 第 一 个 密码 圆 盘 ， 而 Blaise de Vigernere 在 1586 年 出 版 的 书 《Traicté de chiffres》 中 包括 了 
一 个 他 发 明 的 正方 表 和 第 一 个 明文 密 文 自 密 钥 系 统 的 描述 。 

到 1860 年 ， 大 型 码 在 外 交通 信 中 普遍 使 用 ， 而 密码 系统 在 这 种 应 用 中 变 得 很 少见 。 但 是 ， 
密码 系统 在 军事 通信 中 ( 除 高 级 首领 的 通信 外 ， 因 为 俘虏 和 浴 露 等 原因 很 难保 护 密码 本 ) 变 
得 很 盛行 。 在 美国 南北 战争 期 间 ， 联 邦 军 队 大 量 使 用 转换 密码 ， 而 同盟 军 主要 用 的 是 Vigenere 
密码 ， 也 偶尔 使 用 单字 母 奉 换 。 联 邦 政府 的 密码 分 析 者 破译 了 截获 到 的 多 数 同 盟 军 密码 ， 而 
同盟 军 却 很 绝望 ， 有 时 将 联邦 密码 发 表 在 报纸 上 寻求 读者 帮 他 们 分 析 破 译 。 

在 第 一 次 世界 大 战 期 间 ， 双 方 都 使 用 了 密码 系统 ， 它 们 对 战术 通信 是 惟一 的 ， 尽 管 码 系 
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统 仍然 主要 在 高 级 指挥 和 外 交通 信 中 使 用 。 虽 然 域 密码 系统 ， 如 美国 信号 军团 密码 圆 盘 不 够 
灵活 ， 在 战争 末期 一 些 复杂 的 密码 系统 也 在 高 层次 的 通信 中 得 以 使 用 。 它 们 中 最 著名 的 就 是 
德国 ADFGVX 分 馏 密码 。 

在 20 世 纪 20 年 代 ， 机 械 和 电子 机 械 的 成 熟 带 来 了 对 电报 和 无 线 电 的 需求 ， 也 带 来 密码 元 
件 的 草 命 一 -发 明了 转子 密码 机 器 。 转 子 的 概念 已 经 在 老式 的 机 械 密码 转盘 中 预见 到 了 ， 但 
是 ， 美国 人 Edward Hebern 发 现 ， 通 过 单字 母 表 赫 换 电子 转子 的 一 面 同 另 一 面 连接 物理 接线 ， 
并 把 这 样 的 转子 进行 级 联 ， 可 以 产生 几乎 达到 任何 复杂 程度 的 多 字母 表 替 换 。 从 1921 年 后 的 
十 年 时 间 ，Hebern 构 造 了 一 系列 稳定 改良 的 转子 机 器 ， 它 们 得 到 美国 海军 的 评估 。 毫 无 疑问 ， 
这 项 工作 使 美国 在 第 二 次 世界 大 战 中 在 密码 的 使 用 上 占 绝对 优势 地 位 。 几 乎 在 Hebern 在 美国 
发 明 转 子 密码 的 同时 ， 欧 洲 工 程 师 如 Hugo Koch (荷兰 ) 和 Arthur Scherbius (德国 ) 独立 发 
现 了 转子 的 观念 ， 而 且 设 计 了 历史 上 最 著名 的 密码 机 器 的 先驱 ， 即 在 第 二 次 世界 大 战 中 使 用 
的 德国 这 惑 机 。 这 些 机 器 也 受到 了 英国 在 第 二 次 世界 大 战 中 使 用 的 密码 机 器 TYPEX 的 启发 。 

在 二 战 期 间 ， 美 国 引入 了 M-134-C (SIGABA) 密码 。 日 本 在 二 战 中 的 密码 机 器 有 着 有 趣 
的 历史 ， 它 们 与 Hebern 和 谜 惑 机 有 关 。 继 Herbert Yardley 之 后 ， 一 个 在 第 一 次 世界 大 战 期 间 及 
之 后 组 织 和 指挥 了 美国 政府 的 第 一 个 正规 破译 码 工作 组 的 美国 人 出 版 了 《The American Black 
Chamber》 一 书 ， 在 该 书 中 他 给 出 了 美国 成 功 分 析 日 本 密码 的 详细 情况 ， 日 本 政府 也 下 决心 发 
展 最 好 的 密码 机 器 。 在 这 种 思想 指导 下 ， 日 本 从 Hebern 那 里 购买 了 转子 机 和 商业 谜 惑 机 以 及 
一 些 其 他 的 现代 机 器 供 研 究 。 在 1930 年 ， 日 本 的 第 一 个 被 美国 密码 分 析 人 员 给 予 代 号 RED 的 
转子 机 服务 于 日 本 外 交 部 门 。 但 是 ， 根 据 对 Hebern 转 子 机 所 产生 的 密码 的 分 析 经 验 ， 美 国 陆 
军 信 号 情报 队 的 密码 分 析 者 们 成 功 地 分 析 了 RED 密 码 。 在 1939 年 ， 日 本 引入 了 一 种 新 的 密码 
机 器 ， 被 美国 密码 分 析 者 们 给 予 代号 PURPLE ， 在 该 机 器 中 转子 用 电话 分 级 开关 取代 了 。 在 
第 二 次 世界 大 战 中 密码 分 析 者 们 取得 的 最 大 胜利 是 波兰 和 英国 破译 了 谜 惑 机 密码 和 美国 密码 
分 析 者 们 破译 了 日 本 的 RED、ORANGE 和 PURPLE 密 码 。 这 些 发 展 对 盟 军 在 二 战 中 的 战绩 起 
了 主要 作用 。 

二 战 后 用 于 支持 雷达 而 发 展 起 来 的 电子 学 被 密码 机 器 采用 了 。 第 一 台电 力 密码 机 与 转子 
机 相差 不 大 ， 只 是 把 转子 用 电子 置换 替代 了 。 这 些 电子 转子 机 的 惟一 优点 是 它们 的 运转 速度 ， 
但 它们 仍然 受到 机 械 转 子 机 内 在 弱点 的 影响 。1949 年 ， 香 农 发 表 了 论文 “Communication 
Theory of Secrecy Systems”， 使 得 研究 进入 了 密 钥 密码 学 时 代 。 

计算 机 和 电子 时 代 给 密码 设计 者 的 精心 设计 带 来 了 空前 的 自由 ， 这 些 设计 如 果 用 笔 和 纸 
完成 的 话 会 太 容易 出 错 ， 而 用 电子 机 械 密 码 机 又 会 造价 太 高 。 发 展 中 最 大 的 推进 是 分 组 密码 
的 开发 ， 开 始 于 IBM 的 LUCIFER， 它 是 DES (数据 加 密 标准 ) 的 直接 先驱 。 

密码 学 技术 发 展 中 一 个 划时代 的 工作 是 W. Diffie 和 M. E. Hellman 在 1976 年 写 的 论文 
“New Direction in Cryptograhy”。 他 们 首次 指出 了 即使 在 发 送 方 和 接收 方 之 间 不 需要 先 传输 秘 
密 密 钥 ， 两 者 之 间 依 然 可 以 进行 安全 通信 。 从 而 密码 学 的 发 展 进入 到 公 钥 密码 学 时 代 。 

在 现代 密码 学 中 可 以 同时 用 到 对 称 和 公 钼 密码 算法。 混合 密码 体制 成 功 结合 了 两 种 算法 ， 
看 上 去 安全 且 速 度 快 。 尽 管 PGP 及 其 他 复杂 的 协议 是 为 因特网 用 户 设 计 的 ， 显 然 其 背后 的 加 
密 是 很 强 的 ， 而 且 可 以 用 于 很 多 方面 。 可 能 有 些 情况 下 有 必要 使 用 简单 的 算法 ， 但 有 了 像 
IDEA 这 样 的 算法 所 提供 的 安全 性 ， 绝 对 没有 理由 认为 这 些 会 不 安全 。 椰 圆 曲线 密码 学 (ECC ) 
由 Victor Miller (IBM 公 司 ) 和 Neil Koblitz (华盛顿 大 学 ) 在 1985 年 提出 的 ， 它 可 以 作为 实现 
公 钥 密码 的 另外 一 种 选择 。 和 类 似 于 RSA 等 一 些 通常 算法 不 同 ， 在 相同 窗 钥 长 度 的 条 件 下 ， 
ECC 所 基于 的 离散 对 数 问 题 更 难 解 决 。 
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量子 密码 学 源 于 Stephen Weisner 在 20 世 纪 70 年 代 初 期 提出 的 “ 共 轿 编码 ”(Conjugate 
Coding)。 直 到 1983 年 ， 这 个 思想 才 正 式 发 表 。 当 时 ， 由 于 熟悉 Weisner 的 理论 ，Bennett 和 
Brassard 已 经 准备 提出 他 们 自己 的 想法 。 他 们 在 1984 年 提出 了 “BB84” 第 一 个 量子 密码 
协议 。 直 到 1991 年 ， 基 于 这 个 思想 的 第 一 个 实验 原型 系统 才 得 以 实现 (距离 是 32 厘 米 )。 最 近 
一 段 时 期 ， 跨 越 千 米 距离 的 光纤 电缆 的 若干 系统 被 测试 成 功 。 

混沌 理论 ， 非 线性 动力 系统 理论 的 一 个 分 支 ， 作 为 密码 学 领域 的 一 个 新 方向 ， 其 相关 研 
究 越 来 越 多 。 低 维度 动力 系统 有 非常 复杂 并 且 不 可 预测 的 性 质 ， 而 这 些 性 质 对 于 信息 的 扩散 
和 混淆 非常 有 利 。 此 方向 最 近 的 动态 是 由 Baptista、Kocarev 和 Bose 提 出 的 。 

从 20 世 纪 70 年 代 早 期 开始 ， 基 于 大 量 广泛 的 生物 信息 模板 的 身份 识别 系统 引起 了 学 术 界 、 
工业 界 以 及 科幻 电影 的 广泛 兴趣 。 当 前 的 研究 使 用 各 种 不 同 的 生物 统计 信息 : (1) 传统 的 生物 
统计 信息 【例如 指 纹 、 掌 形 、 虹 膜 、 视 网 膜 ) ，(2) 最 近 的 生物 信息 模板 (例如 声音 、 签 名 、 
掌 纹 和 脸 ) ，(3) 新 方法 (例如 耳 形 、DNA、 击 键 节 奏 、 脸 的 不 对 称 性 和 体味 )。 由 于 生物 信 
息 不 是 一 成 不 变 的 ， 所 以 生物 模板 不 能 作为 密 钥 。 基 于 生物 统计 信息 加 密 的 研究 源 于 1990 年 ， 
并 且 成 为 当今 一 个 热点 研究 方向 。 

在 挑选 锁 的 方面 有 一 篇 因特网 上 的 文章 说 :“ 和 窃贼 插 门 最 有 效 的 工具 一 直 是 铁 枫 。” 这 也 适 
用 于 密码 分 析 一 一 直接 的 行动 往往 是 最 有 效 的 。 用 128 比 特 的 IDEA 传 递 你 的 消息 是 绝对 没 问题 
的 , 但 如 果 用 一 张 软盘 插入 到 加 密 所 用 的 一 台 计 算 机 去 就 能 得 到 密 钥 , 那么 加 密 就 失去 了 意义 。 
换 名 话说, 超 强 的 算法 也 是 不 充分 的 。 要 使 一 个 系统 有 效 ， 必 须 同 时 有 有 效 的 管理 协议 。 最 后 ， 
Edgar Allen Poe 先 生 说 过 :“ 人 类 的 聪明 无 法 编造 一 个 人 类 的 智慧 不 能 解决 的 密码 。” 





8.21 小 结 


“ 密码 体制 是 一 些 用 于 隐藏 和 再 现 信息 的 算法 和 相关 程序 的 总 称 。 密 码 分 析 是 分 析 密码 体 
制 的 过 程 ， 或 者 检查 它 的 完整 性 ， 或 者 为 将 来 的 动机 破译 它 。 攻 击 者 是 为 了 破译 一 个 密 
码 体制 而 进行 分 析 的 个 人 或 系统 。 攻 击 一 个 密码 体制 的 过 程 通 常 称 为 破译 。 密 码 分 析 者 
的 工作 就 是 发 现 密码 体制 中 的 弱点 。 

“一 个 要 发 送 的 消息 称 为 明文 ， 该 消息 用 密码 算法 进行 编码 ， 这 一 过 程 称 为 加 密 。 加 密 后 
的 消息 称 为 密 文 ， 它 由 解密 过 程 重 新 恢复 到 明文 。 

“ 密 钥 是 一 个 值 ， 它 使 密码 算法 以 一 种 特别 的 方式 运转 来 产生 一 个 特别 的 密 文 作为 输出 。 
密 钥 的 大 小 通常 用 比特 数 来 度量 。 密 钥 越 大 ， 算 法 将 越 安全 。 

“对称 算法 〈 或 单 密 钥 算法 或 保密 密 钥 算法 ) 在 加 密 和 解密 一 个 消息 时 用 同一 个 密 钥 ， 因 
而 得 名 。 为 了 使 收 信人 能 解密 消息 ， 他 们 需要 有 同样 的 密 钥 。 这 带 来 了 一 个 主要 间 题 ， 
即 密 钥 分 配 问 题 。 

“分 组 密码 通常 在 一 个 称 为 组 块 的 比特 组 上 进行 操作 ， 每 一 组 都 需要 处 理 很 多 次 。 在 每 一 
轮 中 密 钥 的 使 用 方式 是 惟一 的 。 加 密 选 代 次 数 越 多 ， 加 密 过 程 需要 的 时 间 也 越 长 ， 最 后 
的 密 文 也 越 安 全 。 

* 流 密码 在 明文 的 操作 上 是 每 次 一 比特 。 明 文 以 原始 比特 流 的 方式 进入 加 密 算法 。 分 组 窗 
码 用 同一 密 钥 对 相同 明文 产生 相同 的 密 文 ， 而 流 密 码 不 是 这 样 。 在 同样 条 件 下 流 密码 产 
生 的 密 文 会 发 生变 化 。 

* 要 确定 我 们 需要 多 么 高 的 安全 程度 ， 必 须 回 答 下 列 问题 : 

1) 要 处 理 的 数据 的 价值 是 多 少 ? 
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2) 需要 安全 保护 的 时 间 是 多 长 ? 
3) 密码 分 析 者 /黑客 拥有 的 资源 是 什么 ? 

“ 本章 讨论 了 两 种 对 称 算 法 ， 都 是 分 组 密码 。 它 们 是 数据 加 密 标 准 (DES) 和 国际 数据 加 
密 算 靶 (IDEA) 。 

“ 公 钥 算法 是 非 对称 的 ， 也 就 是 说 用 于 加 密 一 个 消息 的 密 钥 与 用 于 解密 该 消息 的 窗 钥 是 不 
同 的 。 加 密 密 钥 ， 也 称 为 公开 密 钥 ， 是 用 来 加 密 消 息 的 ， 但 这 个 消息 只 能 被 拥有 称 为 私 
钥 的 解密 密 钥 的 人 解码 。RSA 算 法 和 PGP 是 两 个 很 流行 的 公 钥 加 密 技术 。 

"混合 算法 全 球 电子 邮件 加 密 标准 (PGP) 有 四 个 模块 ; 一 个 对 称 密码 一 一 IDEA 用 于 消息 
加 密 ， 一 个 公 钥 算法 一 一 RSA 用 于 加 密 IDEA 的 密 钥 和 散 列 值 ， 一 个 单 向 散 列 函 数 一 一 
MD5 用 于 签名 和 一 个 随机 数 生 成 器 。 

“RSA 的 根据 是 将 两 个 大 的 素数 相 乘 很 简单 ， 但 车 将 结果 分 解 回去 则 极其 困难 〈 耗 时 )。 
分 解 一 个 数 是 指 找 出 它 的 素 因 子 ， 这 些 素 因 子 乘 起 来 得 到 该 数 。 

* 单 向 散 列 阔 数 是 可 以 接受 任意 长 度 的 数据 囊 而 输出 一 个 短 的 固定 长 度 的 串 ( 散 列 值 ) 的 
数学 函数 。 这 些 函 数 设 计 为 不 仅 从 散 列 值 很 难 找到 原来 的 消息 ， 而 且 在 已 知 所 有 散 列 值 
长 度 的 条 件 下 ， 要 找到 两 个 具有 相同 散 列 值 的 消息 也 是 极其 困难 的 。 

“椭圆 曲线 密码 学 《ECC) 的 基础 在 于 给 定 mP， 很 难 找到 P 的 值 。 和 RSA 等 一 些 普 遍 的 算 
法 不 同 ， 在 相同 密 钥 长 度 的 条 件 下 ，ECC 所 基于 的 离散 对 数 问题 更 难 解决 。 

“Diffie-HelIman 密 铀 协商 协议 〈 又 称 为 指数 密 钥 协商 ) 使 得 处 于 一 个 不 安全 信道 上 的 两 
个 用 户 在 没有 预先 共享 秘密 的 情况 下 建立 起 一 个 共享 密 钥 。 

* 混沌 函数 可 用 于 安全 通信 和 和 密码 应 用 。 混 沌 函数 主要 用 于 基本 不 可 预测 的 密 钥 的 产生 。 

*， 量子 密 码 学 是 利用 物理 法 则 来 达到 对 消息 的 机 密 性 保护 和 提供 一 个 绝对 通信 安全 的 专用 
信道 ， 使 得 通过 此 信道 通信 双方 可 以 交互 一 个 加 密 密 钥 。 在 量子 密码 学 中 ， 安 全 通信 系 
统 利 用 了 海 森 堡 测 不 准 原 理 和 基 子 纠缠 原理 。 

“生物 加 密 是 通过 把 一 个 PIN 或 者 一 个 密 钥 和 某 种 生物 统计 信息 绑 定 的 过 程 ， 从 而 使 得 从 
所 存储 的 模板 内 既 不 能 把 密 钥 也 不 能 把 生物 统计 信息 恢复 。 

* 非法 密码 分 析 的 尝试 称 为 一 次 攻击 ， 它 的 类 型 有 五 种 ;强力 攻击 、 仅 知 密 文 攻击 、 已 知 
明文 攻击 、 选 择 明文 攻击 和 选择 密 文 攻击 。 

“。 用 来 攻击 密 文 的 密码 分 析 方 法 中 ， 常 见 的 手段 是 差分 密码 分 析 、 线 性 密码 分 析 和 代数 
攻击 。 

* 多数 政府 不 欢迎 密码 体制 的 广泛 使 用 ， 因 为 它 给 了 包括 罪犯 在 内 的 个 人 更 多 的 隐私 而 可 
能 带 来 威胁 。 

* 密码 体制 的 广泛 使 用 是 多 数 政府 不 欢迎 的 ， 因 为 它 给 了 包括 罪犯 在 内 的 个 人 更 多 的 隐私 
而 带 来 威胁 。 





想像 力 比 知识 更 重要 。 
一 一 爱 因 斯 坦 (1879 一 1955) 


习题 
8.1 我 们 想 要 测试 加 密 技术 字符 十 x 的 安全 性 ， 其 中 每 个 明文 字符 移动 x 个 位 置 来 产生 密 文 。 


8.2 


8.3 


8.4 
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4D 假设 用 强力 攻击 ， 需 要 实验 多 少 次 才能 破译 这 个 码 ? 
(2) 假设 一 个 计算 机 需要 lms 来 测试 一 个 移 位 ， 那 么 要 破译 这 个 码 需要 多 长 时 间 ? 
对 下 面 的 密 文 序列 (加 密 方法 是 charactert+x) 进行 解密 (明文 是 从 26 个 英文 单词 中 选择 
的 )。 注 意 ， 此 题 可 以 不 需要 计算 机 的 协助 。 
JXU SQJ YI EKJ EV JXU RQW 


转换 密码 重新 安置 明文 中 的 字母 而 不 去 改变 这 些 字母 。 例 如 一 个 非常 简单 的 转换 密码 是 
铁轨 栅栏 ， 它 把 明文 两 两 行 交错 然后 读 出 密 文 。 在 一 个 有 两 个 行 的 铁轨 栅栏 中 ， 消 息 
MERCHANT TAYLORS' SCHOOL 变 成 
MRHNT YOSCOL 
ECATALFRSHO 
这 样 读 出 来 就 是 ; MRHNTYOSCOLECATALRSHO。 
(1) 如 果 密 码 分 析 者 想 破译 铁轨 栅栏 密码 ， 假 设 知道 密 文 长 度 为 上 ， 他 需要 试验 多 少 不 同 
的 攻击 ? 
(2) 给 出 该 铁轨 栅栏 密码 的 一 种 解密 算法 。 
最 著名 的 域 密码 是 分 馏 系 统一 一 即 ADFGVX 密 码 ， 它 是 德国 军队 在 第 一 次 世界 大 战 中 使 用 
的 密码 。 该 系统 这 样 命名 的 原因 是 因为 它 用 了 一 个 6 x 6 阶 矩 阵 来 替换 加 密 26 个 字母 和 10 个 
数字 ， 使 之 成 为 A、D、F、G、V 和 X 的 符号 对 。 所 得 到 的 两 个 字母 组 成 的 密码 只 是 中 间 
结果 ， 它 再 被 写 进 一 个 长 方形 矩阵 ， 再 转 置 后 产生 最 后 发 送 的 密码 。 这 里 给 出 一 个 用 此 窑 
码 将 短语 “Merchant Taylors” 加 密 的 例子 ， 所 用 密 钥 为 单词 “Subject 。 





明文 ME R CHANTTAYLORS 
密 文 : FG AV GF AX DX DD FV DA DA DD VA FF FX GF AA 
这 种 中 间 密 码 可 以 根据 不 同 的 密 钥 放 到 一 个 转 置 矩 阵 。 





因此 最 后 的 密码 为 ， FAFDFGDDFAVXAAFGXVDXADDVGFDAFA。 


230 划 三 这 分 滨 会 通信 编码 


(1) 如 果 一 个 密码 分 析 者 想 破 译 ADFGVX 密 码 ， 在 知道 密 文 长 度 n 的 情况 下 需要 试验 多 少 
不 同 的 攻击 ? 
(2) 给 出 ADFGVX 密 码 的 解密 算法 。 

8.5 考虑 由 XEROX 公 司 的 Ralph Merkle 和 斯 坦 福 大 学 的 Martin Hellman 在 1976 年 提出 的 背包 加 
密 技 术 。 他 们 提出 用 一 个 背包 或 子 集合 问题 为 基础 建立 公 钥 密码 体制 。 这 个 问题 归结 为 
确定 一 个 给 定 的 数 是 否 可 以 表示 为 一 个 给 定数 列 的 某 子 集 的 和 ， 更 重要 的 是 哪个 集合 有 
这 样 的 和 。 

给 定 一 个 数列 4， 其 中 4= (ec …, a)， 和 一 个 数 C， 背 包 问 题 就 是 找到 xc,, …, w, 的 子 集 合 
使 其 和 为 C。 
考虑 下 面 的 例子 : 
n=5, C=14, A= (1, 10, $5, 22, 3) 
答案 =14=1+10+3。 
一 般 地 ， 所 有 子 集 的 可 能 和 可 以 表示 为 : 
mairtmat Radst +t Mma, 其 中 每 个 mm 为 0 或 1。 
因此 答案 为 二 元 向 量 M=(1，1，0，0，1)。 
这 样 的 向 量 共有 2 个 (在 本 例子 中 25 = 32) 。 
显然 并 不 是 C 的 所 有 值 都 可 以 表示 为 一 个 子 集合 ， 而 有 些 可 能 有 不 止 一 种 表示 方法 。 例 
如 ， 当 A 二 (14，28，56，82，90，132，197，284，341，455，,，515) 有 时， 数字 515 可 以 有 
三 种 不 同 的 表示 方式 ， 但 516 不 能 以 任何 方式 表示 。 
(1) 如 果 一 个 密码 分 析 者 想 破 译 背 包 密 码 ， 他 需要 试验 多 少 种 不 同 的 攻击 ? 
(2) 给 出 背包 密码 的 解密 算法 。 

8.6 考虑 一 个 3D 密 码 系统 : 一 个 立方 体 的 每 一 条 边 有 3 个 区 ， 因 此 在 立方 体 中 共有 27 个 区 。 
每 一 个 区 表示 为 字母 表 中 的 一 个 字母 或 者 一 个 空格 〈27 个 区 对 应 了 27 个 字符 )。 因 此 ， 每 
一 个 字符 有 三 个 坐标 (w, B, 7)， 这 三 个 坐标 都 是 从 {1, 2, 3} 中 选择 的 。 一 种 可 能 的 密码 系 
统 是 :“a”=(1, 1, 1),，“b”=(1, 1, 2), …，“z”=(3, 3, 2)，“<space>”=(3, 3, 3)。 假 设 有 
一 个 敌手 进行 穷 举 攻击 ， 为 破解 一 个 未 知 的 3D 密 码 ， 他 需要 尝试 多 少 次 ? 

8.7 (1) 用 素数 29 和 61 生 成 RSA 算 法 的 密 钥 。 

(2) 将 字母 “RSA” 用 ASCII 码 表示 ， 然 后 用 上 述 生 成 的 密 钥 将 它们 加 密 。 
(3) 接 下 来 用 素数 对 37 和 67 生 成 密 钥 。 步 又 (1) 还 是 步骤 (2) 中 的 密 钥 更 安全 ?为 什么 ? 

8.8 ”在 10% 和 10'% 之 间 共 有 多 少 个 素数 ? 

8.9 考虑 一 个 由 n 个 顶点 组 成 的 完全 连通 的 网 络 。 如 果 所 有 的 顶点 均 被 要 求 相 互 之 间 通 信 ， 则 
使 用 下 面 两 种 加 窗 系 统 ， 各 和 需要 多 少 个 密 钥 ? 

(1) 秘密 钥 加 密 。 
(2) 公 钥 加 密 。 

8.10 考虑 一 个 定义 在 Zs 上 的 椭圆 曲线 y? 三 x +x +1 

(1) 我 们 希望 利用 此 曲线 实现 重复 自 加 操作 。 对 于 P =(3, 10)， 计 算 值 2 +1。 


QQ) 计算 概率 Ps |lim{2"P} = (5.19)| 。 


8.11 我 们 希望 确定 图 像 加 密 的 Jigsaw 转 换 的 安全 性 。 假 设 ， 原 始 图 像 (大 小 是 p xp) 分 成 若 
干 个 子 分 区 ， 每 一 个 大 小 是 gx 9， 从 而 使 得 p=mgq。 这 些 子 分 区 随机 排列 ， 因 此 得 到 了 


Jigsaw 图 像 。 
(1) 计算 对 此 jigsaw 编 码 进 行 暴力 攻击 的 数学 复杂 度 。 
(2) 此 种 情况 下 ， 密 钥 的 比特 数 是 多 少 ? 


上 机 习题 


8.12 写 一 个 程序 实现 DES 加 密 。 1 
8.13 写 一 个 程序 用 IDEA 加 密 和 解密 。 对 同样 密 钥 大 小 ， 比 较 DES 和 IDEA 在 加 密 一 个 明文 时 
所 需要 的 运算 数 。 
8.14 写 一 个 对 给 定 的 数 进行 分 解 的 一 般 程 序 。 画 出 所 需要 的 浮 点 运算 平均 次 数 相 对 于 被 分 解 
数 的 位 数 的 图 。 
8.15 写 一 个 程序 用 RSA 算 法 进行 加 密 和 解密 。 画 出 程序 所 执行 的 浮 点 运算 数 相 对 密 钥 大 小 的 
平面 图 。 
38.16 写 一 段 实现 Diffie-Hellman 协 议 的 程序 。 
8.17 考虑 差分 方程 
2 二 Cr(1 ~) 
当 a=4 了 时 ,该 函数 表现 为 一 个 混沌 函数 。 
(1) 画 出 通过 迭代 读 差 分 函数 所 产生 的 100 个 值 。 如 果 开 始 值 x 0.5， 会 发 生 什 么 现 
象 ? 
(2) 取 两 个 差 值 为 Ax 的 初始 条 件 ( 即 两 个 不 同 的 开始 值 xo, 和 xo,)。 用 上 述 差 分 方程 对 每 
个 开始 值 挝 代 * 次 得 到 最 后 的 值 yw 和 os， 它们 的 差 为 心 。 对 给 定 的 Ar， 画 出 心 相对 m 
的 平面 图 。 
(3) 对 给 定 的 值 (比如 4=500)， 画 出 Ax 相 对 Ay 的 平面 图 。 
(4) 对 a=3.7 和 ao=3.9 重 复 步 又 (1)、(2) 和 (3)。 比 较 并 给 出 说 明 。 
(5) 用 下 面 的 混沌 函数 给 出 一 个 基于 混沌 的 加 密 程序 ， 它 为 单 钥 加 密生 成 密 钥 : 
Xnt1= 4x(l —,) 
(6) 比较 上 面 基于 混沌 的 加 密 程 序 和 IDEA 用 128 比 特长 密 钥 的 加 密 速 度 。 
(7) 比较 上 面 基 于 混沌 的 加 密 算法 和 IDEA 用 128 比 特长 密 钥 的 安全 性 。 


